我正在使用3个CNN和一个摄像头传感器开发一辆迷你自动驾驶汽车,采用这种方法。
其中一个CNN用于检测图像中的车道,并输出用绿色绘制的车道图像。
另一个CNN使用这些图像输出转向角度和速度,并将这些信息传达给电机。这两个CNN单独运行时都工作得很好。
最后一个CNN检测交通标志,例如左转、右转、停止。我希望利用这个CNN的输出来修改第一个CNN绘制绿色线条的方式。例如,如果汽车在一个有左转标志的路口,我希望绿色“车道”能够绘制出一条向左的路径。
关于如何连接这3个CNN并实时使用它们,任何建议都将非常受欢迎。
回答:
对于那些好奇的人,我用一种更简单的办法解决了这个问题。我能够使用opencv检测车道并用绿色绘制。我构建了一个输出转向角度的CNN,另一个输出速度的CNN。这两个CNN也能够学习交通标志并相应地采取行动,因此不需要另一个神经网络。在我的预测文件中,我导入了这两个CNN作为模型,然后在使用模型分别预测转向角度和速度之前,用opencv处理每帧图像。有了这些值,汽车就可以上路了。
顺便说一下,以下是如何将一个CNN的输出作为另一个CNN的输入的方法。只需在使用第二个CNN进行预测时将输出作为参数即可(例如,在keras中使用“secondmodel.predict(output,…..)”)