我有一个TensorFlow Lite模型和一个Coral Dev Board,我想在Dev Board的TPU上进行推理。
在我的Python推理脚本中初始化TensorFlow Lite解释器时,我按照Google Coral TFLite Python示例(在Coral Dev Board的入门指南中链接)中的示例,添加了“libedgetpu.so.1”作为实验性委托。然而,推理的速度与不指定TPU实验性委托时完全相同,因此我假设推理仍在Dev Board的CPU上运行。无论是否使用实验性委托,Dev Board上的推理时间为32秒;在我的台式电脑上,使用相同测试集的推理时间,如果在CPU上运行TFLite模型为10秒,如果在转换为TFLite之前在Keras中运行相同模型,则为1.3秒(我认为这是因为它利用了多个核心,所以比TFLite更快)。
我的问题是:如何让推理在Dev Board的TPU上而不是CPU上运行?
我想知道是否需要在我将Keras模型转换为TFLite格式之前在PC上构建模型时指定某些内容(例如使用with tf.device
上下文管理器或其他让生成的TFLite模型使用TPU的东西),但我在TensorFlow Lite转换器Python API文档中没有看到关于这一点的任何信息。
Dev Board运行的是Mendel版本2.0,Python版本3.5.3,tflite-runtime版本2.1.0.post1(我知道我应该更新Mendel版本,但是我目前使用的是Windows电脑,获取Linux机器或尝试使用Putty、VirtualBox或WSL从Windows更新Dev Board会很麻烦。如果Coral像Raspberry Pi那样支持Windows就好了…)。
以下是我的推理脚本(如果需要,我也可以上传训练脚本和模型;数据集是MNIST,转换为NumPy浮点数据,如这个Gist中所述):
回答:
看起来你已经在我们的GitHub页面上问过这个问题,并且在这里得到了回答。只是想分享给其他人参考