TensorFlow Lite模型在Coral Dev Board上未在TPU上运行

我有一个TensorFlow Lite模型和一个Coral Dev Board,我想在Dev Board的TPU上进行推理。

在我的Python推理脚本中初始化TensorFlow Lite解释器时,我按照Google Coral TFLite Python示例(在Coral Dev Board的入门指南中链接)中的示例,添加了“libedgetpu.so.1”作为实验性委托。然而,推理的速度与不指定TPU实验性委托时完全相同,因此我假设推理仍在Dev Board的CPU上运行。无论是否使用实验性委托,Dev Board上的推理时间为32秒;在我的台式电脑上,使用相同测试集的推理时间,如果在CPU上运行TFLite模型为10秒,如果在转换为TFLite之前在Keras中运行相同模型,则为1.3秒(我认为这是因为它利用了多个核心,所以比TFLite更快)。

我的问题是:如何让推理在Dev Board的TPU上而不是CPU上运行?

我想知道是否需要在我将Keras模型转换为TFLite格式之前在PC上构建模型时指定某些内容(例如使用with tf.device上下文管理器或其他让生成的TFLite模型使用TPU的东西),但我在TensorFlow Lite转换器Python API文档中没有看到关于这一点的任何信息。

Dev Board运行的是Mendel版本2.0,Python版本3.5.3,tflite-runtime版本2.1.0.post1(我知道我应该更新Mendel版本,但是我目前使用的是Windows电脑,获取Linux机器或尝试使用Putty、VirtualBox或WSL从Windows更新Dev Board会很麻烦。如果Coral像Raspberry Pi那样支持Windows就好了…)。

以下是我的推理脚本(如果需要,我也可以上传训练脚本和模型;数据集是MNIST,转换为NumPy浮点数据,如这个Gist中所述):


回答:

看起来你已经在我们的GitHub页面上问过这个问题,并且在这里得到了回答。只是想分享给其他人参考

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注