似乎我在使用coremltool和训练过的.caffemodel时遇到了转换问题。我已经成功训练并测试了caffe的狗模型（120个类别，20k张图片），并且通过直接使用caffe进行分类测试通过了。然而，不幸的是，在转换为mlmodel后，相同输入的预测结果无效。

训练模型

该模型使用Caffe和GoogleNet进行训练，包含20k张图片的lmdb数据集，涵盖120个类别，迭代约500k次。我已经准备好了图片数据库和其他所有文件，并将所有文件放在这里。

使用caffe进行分类

这是caffe的分类示例。当我尝试对训练过的caffemodel进行分类请求时，它运行得非常好，概率很高（80-99%），结果正确：

使用Apple iOS 11 CoreML进行分类

不幸的是，当我尝试将DTDogs.caffemodel和deploy.txt打包成Apple iOS 11 CoreML可用的.mlmodel时，我得到了不同的预测结果。实际上，加载和使用模型时没有错误，但无法获得有效的分类，所有预测的置信度都在0-15%之间，并且标签错误。为了正确测试，我使用了与直接使用caffe进行分类时相同的图片：

我还尝试了这里提供的预训练和预打包模型，在我的iOS应用中它们运行得很好，所以问题似乎出在打包过程中。

我错过了什么？

这是使用caffe进行分类的示例：没有问题，答案正确（python）：

import numpy as npimport sysimport caffeimport osimport urllib2import matplotlib.pyplot as plt%matplotlib inlinetest_folder = '/home/<username>/Desktop/CaffeTest/'test_image_path = "http://cdn.akc.org/content/hero/irish-terrier-Hero.jpg"# init caffe netmodel_def = test_folder + 'deploy.prototxt'model_weights = test_folder + 'DTDogs.caffemodel'# caffe.set_mode_gpu()net = caffe.Net(model_def, model_weights, caffe.TEST) # prepare transformertransformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})transformer.set_transpose('data', (2,0,1))  transformer.set_raw_scale('data', 255)transformer.set_channel_swap('data', (2,1,0))net.blobs['data'].reshape(1, 3, 256, 256)  test_image = urllib2.urlopen(test_image_path) with open(test_folder + 'testImage.jpg','wb') as output:  output.write(test_image.read())image = caffe.io.load_image(test_folder + 'testImage.jpg')transformed_image = transformer.preprocess('data', image)net.blobs['data'].data[...] = transformed_image# classifyoutput = net.forward()output_prob = output['prob'][0]output_prob_val = output_prob.max() * 100output_prob_ind = output_prob.argmax()labels_file = test_folder + 'labels.txt'labels = np.loadtxt(labels_file, str, delimiter='\t')plt.imshow(image)print 'predicted class is:', output_prob_indprint 'predicted probabily is:', output_prob_valprint 'output label:', labels[output_prob_ind]

这是使用coremltools打包DTDogs.mlmodel模型的示例。我注意到生成的.mlmodel文件比原始的.caffemodel文件小一半，但这可能是coremltools的某种归档或压缩优化（python）：

import coremltools;caffe_model = ('DTDogs.caffemodel', 'deploy.prototxt')labels = 'labels.txt'coreml_model = coremltools.converters.caffe.convert(caffe_model, class_labels = labels, image_input_names= "data")coreml_model.short_description = "Dogs Model v1.14"coreml_model.save('DTDogs.mlmodel')

这是应用中使用DTDogs.mlmodel的示例。我使用常规的图像选择器来选择与.caffe分类测试时相同的图像（swift）：

func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [String : Any]) {    picker.dismiss(animated: true)    print("Analyzing Image…")    guard let uiImage = info[UIImagePickerControllerOriginalImage] as? UIImage        else { print("no image from image picker"); return }    guard let ciImage = CIImage(image: uiImage)        else { print("can't create CIImage from UIImage"); return }    imageView.image = uiImage    do {        let model = try VNCoreMLModel(for: DTDogs().model)        let classificationRequest = VNCoreMLRequest(model: model, completionHandler: self.handleClassification)        let orientation = CGImagePropertyOrientation(uiImage.imageOrientation)        let handler = VNImageRequestHandler(ciImage: ciImage, orientation: Int32(orientation.rawValue))        try handler.perform([classificationRequest])    } catch {        print(error)    }}

回答：

在这种情况下，通常发生的情况是Core ML传递给模型的图像格式不正确。

对于Caffe模型，通常在调用caffe.convert()时需要设置is_bgr=True，并且通常需要传入RGB的均值，这些值将从输入图像中减去，可能还需要一个缩放值。

换句话说，Core ML需要做与你在Python脚本中transformer所做的事情相同。

类似这样的操作：

coreml_model = coremltools.converters.caffe.convert(    caffe_model, class_labels = labels, image_input_names= "data",    is_bgr=True, image_scale=255.)

我不确定是否需要image_scale=255.，但值得一试。:-)