我刚从大学毕业几个月，拥有计算机科学学士学位，我的上司让我在两个月内独自从零开始构建一个机器学习代理，用于将数据分类到23个类别中。我只上过一门人工智能入门课，我们甚至没有涉及神经网络。我认为我已经掌握了基础知识，但我在准备数据以输入模型时遇到了麻烦。

欢迎评论这项任务的（不）可行性，但这些是背景信息，并不是我的问题所在。我有一个关于电源插座设备的数据示例，包括1列设备ID（每个设备唯一的数字字符串），12列不同的整数表示哪些插座正在使用以及消耗了多少电量，还有一个与设备所在位置相关的整数。我有大量这种类型的数据，我一直在考虑可以使用带有softmax层的RNN来分类到我的类别中。这将是监督学习。提到的列将作为输入，一个1到23的整数将作为输出。我需要模型查看一个时间段并对其进行分类，这将包括不同数量的行，因为设备数量不同，而且每个设备每分钟创建两次行。例如，

ID      1   2   3   4   5   RSSI Temperature R_ID TimeStamp43713   0   0   0   0   118 -82   97         45   2019-08-27 15:38:00.38749945   0   0   5   0   0   -88   89         45   2019-08-27 15:38:00.49343711   0   0   0   0   5   -65   120        45   2019-08-27 15:38:00.55743685   12  4   0   0   0   -76   110        45   2019-08-27 15:38:01.80744041   0   0   0   12  0   -80   104        45   2019-08-27 15:38:02.277

我的问题是这样的：我从我们的SQL数据库中提取了一个35分钟的样本时间段——时间段可以从1分钟到几个小时不等——我得到了3,747个不同的行。显然，这对于作为一个样本输入模型来说太多了。如果电源插座的使用从一分钟到下一分钟没有变化，它将创建除了时间戳之外完全相同的几行。当我去掉时间戳后，我得到了333个不同的行。这仍然似乎很多，而且它去除了必要的时间数据。

我的问题是：这真的太多了吗？我通过谷歌搜索了解到我可以使用几行来使其工作，但当我不知道有多少行时，我能做到吗？即，我能否说“查看X分钟的行”作为一个样本，而不是说“查看X行”？在这种情况下，经验丰富的开发人员（或数据科学家？我不知道）会怎么做？作为另一种方法，而不是尝试处理时间段（由我们正在进行的数据/工作预先确定），我一直在考虑使用[please advise]分钟的滑动窗口，获取该窗口的输出，并使用这些作为输入来获取时间段的输出。这是个糟糕的想法吗？这行得通吗？模型需要能够检测由于一天中的时间、不同的人等引起的差异。

谢谢！

回答：

新回答

这是一个在Python中如何进行压缩的示例代码：

import pandas as pdimport numpy as np# Inputsfeature_cols = list(range(1, 13))n_samples = 1000 # Data prepdf = pd.DataFrame({col: np.random.choice([0, 1], size=n_samples, p=[0.99, 0.01]) for col in feature_cols})df['ID'] = '1234'df['TimeStamp'] = pd.date_range(end='2019-12-04', freq='30s', periods=n_samples)# Compressed dfcomp_df = df.loc[df.groupby('ID')[feature_cols].diff().sum(axis=1) != 0, :]# Resultsn_comp = len(df.index)-len(comp_df.index)print('Data compressed by {} rows ({}%)'.format(str(n_comp), str(round(n_comp/len(df.index)*100, 2))))

正如我在评论中指出的，你真的应该在数据库的上游进行这种操作，以避免传输不必要的数据。

至于机器学习，我认为你走得太快了。从更简单的模型开始，如随机森林或GBM。然后你可以升级到增强方法，如XGBoost。神经网络的可解释性较差，而且你提到你对这些概念的掌握还不够坚实，我建议从小处着手；你不希望被要求解释一个几乎无法解释的模型的结果，而这还是你尚未完全理解的方法。:)

之前的回答

如果我理解正确，你的数据包括以下内容：

• 读取时间戳
• 位置元数据
• 12个二进制“特征”
• 一个分类分配

这些数据是根据插头的方向生成的，因此有很多“重复”。对于35分钟的样本，你得到了3747条记录——大约每秒1.78条记录。

首先，这点数据根本不算多。一般来说，数据越多越好，当然这受限于你的计算能力。一台像样的笔记本电脑应该可以轻松处理数十万行数据。话虽如此，如果你的任何数据没有意义（或无效、格式错误等），那么就预处理它。更具体地说，通过包含所有这些记录，你使模型偏向于有很多重复的时期，因为它们有更多的样本，从而对模型性能有更大的影响。

好的，那么我们要进行预处理，应该在哪里做呢？在不必要的数据（你的重复数据）的情况下，最好尽可能早地在管道中进行处理，这样你就不会四处传输无用数据。答案：在从数据库中提取数据时进行。具体方法取决于你的数据库/SQL方言，但你希望使用你拥有的任何窗口功能来过滤掉那些重复数据。一个解决方案是：

• 将12个特征压缩成一个字符串（例如，“001000011100”）
• 获取该新列的滞后值，按位置分区，按时间升序排列
• 如果该滞后列等于当前列，则丢弃该记录，否则保留

如果你使用SQL，你可以创建一个带有上述逻辑的视图，并像查询原始数据一样查询它（使用你想要的任何窗口/过滤功能）。

此外，由于我还不能评论，这里有一些StackOverflow的建议：

• 提供数据样本是有帮助的，我不得不重新阅读你的第二段几次
• 将背景信息放在最后可以让人们更快地获取你的问题，无论是回答者还是未来的读者
• 同样，尽量简洁（你的问题可能会缩短到原来的1/4）
• 在问技术问题时，尽可能了解你的技术栈（在这种情况下是你使用的数据库/SQL方言）是有帮助的