我正在尝试使用Python中的Keras来对医疗图像进行CNN分类。这些医疗图像还包括可能影响模型决策的文本信息，如年龄和性别。我该如何训练一个CNN，使其能够同时使用图像和现实世界信息进行分类？

回答：

我能想到的几种可能性中，最简单的就是用CNN从医疗图像中提取一些特征，然后将CNN的结果展平，并将非图像数据连接起来。假设您有512×512的图像和10个类别，以下是一个使用多输入的函数式API的想法。

import tensorflow as tfimport numpy as npnum_classes = 10H,W = 512, 512# 定义输入及其形状imgs = tf.keras.Input((H,W,3), dtype = tf.float32)genders = tf.keras.Input(1, dtype = tf.float32)ages = tf.keras.Input(1, dtype = tf.float32)# 从图像中提取特征features = tf.keras.layers.Conv2D(64, 4, strides = 4, activation = 'relu')(imgs)features = tf.keras.layers.MaxPooling2D()(features)features = tf.keras.layers.Conv2D(128,3, strides = 2, activation = 'relu')(features)features = tf.keras.layers.MaxPooling2D()(features)features = tf.keras.layers.Conv2D(256, 3, strides = 2, activation = 'relu')(features)features = tf.keras.layers.Conv2D(512, 3, strides = 2, activation = 'relu')(features)# 展平输出flat_features = tf.keras.layers.Flatten()(features)# 连接性别和年龄flat_features = tf.concat([flat_features, genders, ages], -1)# 下采样xx = tf.keras.layers.Dense(2048, activation = 'relu')(flat_features)xx = tf.keras.layers.Dense(1024, activation = 'relu')(xx)xx = tf.keras.layers.Dense(512, activation = 'relu')(xx)# 计算每个类的概率logits = tf.keras.layers.Dense(num_classes)(xx)probs = tf.keras.layers.Softmax()(logits)model = tf.keras.Model(inputs = [imgs, genders, ages], outputs = probs)model.summary()

这种架构并不是特别标准，您可能需要加深解码器和/或减少CNN编码器中的参数数量。