我正在尝试创建一个训练数据文件,其结构如下:
[行 = 样本, 列 = 特征]
所以如果我有100个样本和2个特征,我的np.array的形状将是(100,2)等等。
数据
下面的列表包含了使用方法01处理过的.nrrd 3D样本补丁数据文件的路径字符串。
['/Users/FK/Documents/image/01/subject1F_200.nrrd','/Users/FK/Documents/image/01/subject2F_201.nrrd']
我们称这个目录为dir_01。为了测试目的,可以使用以下3D补丁。它在读取时与.nrrd文件具有相同的形状:
subject1F_200_PP01 = np.random.rand(128,128, 128)subject1F_201_PP01 = np.random.rand(128,128, 128)# 等等...
下面的列表包含了使用方法02处理过的.nrrd 3D样本补丁数据文件的路径字符串。
['/Users/FK/Documents/image/02/subject1F_200.nrrd','/Users/FK/Documents/image/02/subject2F_201.nrrd']
我们称这个目录为dir_02。为了测试目的,可以使用以下3D补丁。它在读取时与.nrrd文件具有相同的形状:
subject1F_200_PP02 = np.random.rand(128,128, 128)subject1F_201_PP02 = np.random.rand(128,128, 128)# 等等...
这两个对象是相同的,但补丁数据的预处理方式不同。
特征函数
为了计算特征,我需要使用以下函数:
- np.median(常规python函数,返回单一值)
- my_own_function1(常规python函数,返回np.array)
- my_own_function2(只能通过matlab引擎访问,返回np.array)
在这种情况下,我的最终numpy数组应该具有(2,251)的形状。因为我有两个样本(行)和来自我的3个函数的251个特征(列)。
这是我的代码(感谢M.Fabré)
读取补丁
# 帮助我读取用于特征1和2的文件。使用python的.nrrd读取器def read_patches_multi1(files_1): for file_1 in files_1: yield nrrd.read(str(file_1))# 帮助我读取用于特征3的文件。使用matlab的.nrrd读取器def read_patches_multi2(files_2): for file_2 in files_2: yield eng.nrrdread(str(file_2))
计算
def parse_patch_multi(patch1, patch2): # 用于python的.nrrd读取器的结构 data_1 , option = patch1 # 用于matlab的.nrrd读取器的结构 data_2 = patch2 # 使用itertools将单个float32值与np.array值组合 return [i for i in itertools.chain(np.median(data_1), my_own_function1(data_1), my_own_function2(data_2))]
执行
# 目录dir_01 = '/Users/FK/Documents/image/01/'dir_02 = '/Users/FK/Documents/image/02/'# 方法01补丁数据file_dir_1 = Path(dir_01)files_1 = file_dir_1.glob('*.nrrd')patches_1 = read_patches_multi1(files_1)# 方法02补丁数据file_dir_2 = Path(dir_02)files_2 = file_dir_2.glob('*.nrrd')patches_2 = read_patches_multi2(files_2)# 我认为错误在这里...training_file_multi = np.array([parse_patch_multi(patch1,patch2) for (patch1, patch2) in (patches_1, patches_2)], dtype=np.float32)
我尝试了多种方法,但一直遇到语法错误或错误的结构。或者以下类型错误:
TypeError: unsupported Python data type: numpy.ndarray
回答:
我找到了一种解决方案,但看起来并不优雅
我创建了两个函数:
def parse_patch_multi1(patch1): # 用于python的.nrrd读取器的结构 data_1 , option = patch1 # 使用itertools将单个float32值与np.array值组合 return [i for i in itertools.chain(np.median(data_1), 0) my_own_function1(data_1)]def parse_patch_multi2(patch2): # 用于python的.nrrd读取器的结构 data_2 = patch2 # 使用itertools将单个float32值与np.array值组合 return [i for i in itertools.chain(my_own_function2(data_2)]
执行
# 目录dir_01 = '/Users/FK/Documents/image/01/'dir_02 = '/Users/FK/Documents/image/02/'# 方法01补丁数据file_dir_1 = Path(dir_01)files_1 = file_dir_1.glob('*.nrrd')patches_1 = read_patches_multi1(files_1)# 方法02补丁数据file_dir_2 = Path(dir_02)files_2 = file_dir_2.glob('*.nrrd')patches_2 = read_patches_multi2(files_2)training_file_multi1 = np.array([parse_patch_multi1(patch1) for (patch1) in patches_1], dtype=np.float32)training_file_multi2 = np.array([parse_patch_multi2(patch2) for (patch2) in patches_1], dtype=np.float32)
技巧
沿轴1连接两个np.array
training_file_combined= np.concatenate((training_file_multi1, training_file_multi2), axis=1)
矩阵的形状(2,252)