希望大家的日子(或夜晚)过得顺利。
我一直在尝试使用我找到的一个Caffe模型,并在处理输出数组时遇到了一些问题。我之前没有处理过分割,所以这对于更了解该领域的人来说可能是一个简单的修复。
该模型基于这篇论文 Deep Joint Task Learning for Generic Object Extraction。我已经将模型转换为CoreML格式。
我的问题是这样的:
当尝试从输出创建PIL图像时,我得到的似乎是随机噪声,我认为这只是一个简单的numpy数组形状错误或像素顺序错误的问题。输出数组的形状是(2500, 1),它应该是一个50×50的黑白图像
代码如下所示:
image = Image.open('./1.jpg')image = image.resize((55, 55), Image.ANTIALIAS)predictions = model.predict({'data_55': image} , useCPUOnly = False)predictions = predictions['fc8_seg']reshape_array = numpy.reshape(predictions, (50,50))output_image = Image.fromarray(reshape_array, '1')
我尝试了numpy重塑的F和C顺序,但似乎除了看起来像这样的噪声之外什么也得不到 。我使用了原始仓库中提供的测试图像之一,所以这不应该是问题。顺便说一下,数组中的值看起来像这样:
[[ 4.55798066e-08 5.40980977e-07 2.13476710e-06 ..., 6.66990445e-086.81615759e-08 3.21255470e-07][ 2.69358861e-05 1.94866928e-07 4.71876803e-07 ..., 1.25911642e-103.14572794e-08 1.61371077e-08]
任何想法或答案都将不胜感激和有帮助。提前谢谢!
回答:
看起来我已经解决了这个问题。这不是数组顺序的问题,而是值和数据类型的问题。以下是我整理出来的从输出中获取正确图像的代码。
predictions = model.predict({'data_55': image} , useCPUOnly = True) # 运行预测map_final = predictions['fc8_seg'][0,0,:,:] # fc8_seg是神经网络的输出map_final = map_final.reshape((50,50)) # 将输出从形状(2500)重塑为(50, 50)map_final = numpy.flip(map_final, 1) # 翻转轴1以取消镜像图像# 将数组中的值缩放到0到255之间的范围map_final -= map_final.min() map_final /= map_final.max()map_final = numpy.ceil(map_final*255)map_final_unint8 = map_final.astype(numpy.uint8) # 将数据类型转换为uint8pil_image = Image.fromarray(map_final_unint8, mode = 'L') # 创建PIL图像
输出如下:
一切看起来都正如预期的那样!