抱歉重复发帖，我在Cross-validated上没有得到答案
我在数据科学领域刚起步。我有来自20个传感器的数据，几乎所有时候我得到的都是“好”值。有时，我会发现有些数据有问题。现在我有50万行数据，每行包含20列，其中约有300行是“坏”行。这些“坏”行可能代表不同类型的错误，有时甚至没有值。我不知道我会遇到多少种错误类型。
由于我没有足够的“坏”数据，我无法直接使用神经网络。
我的意图是使用异常值/异常检测算法，对这些异常进行聚类，然后手动为每个聚类分配错误类型。
您能推荐哪些算法和Python库？任何帮助都将不胜感激。
回答：
这是在异常值和异常检测中常见的问题，并且有几种已建立的策略来进行这种分析。
自编码器：查看这篇关于使用自编码器进行欺诈检测的帖子 https://medium.com/@curiousily/credit-card-fraud-detection-using-autoencoders-in-keras-tensorflow-for-hackers-part-vii-20e0c85301bd
还有这个仓库：https://github.com/chen0040/keras-anomaly-detection
我尝试用自己的话解释这种方法是如何工作的：它们将输入拆分开来，然后仅用基本元素重新组合，寻找与正常情况根本不同的输入。
这里有一个方法，专注于利用LTSM，这是一种在卷积神经网络中流行的“记忆”单元：https://developer.ibm.com/tutorials/iot-deep-learning-anomaly-detection-5/
您还可以探索GANs，因为它们根本上依赖于一个鉴别器。查看这里：https://skymind.ai/wiki/generative-adversarial-network-gan
Python中有很多NN/ML库。Keras, tf, scikit-learn, pytorch, 和 nltk, spacy 都很流行。
