我有一个感知器算法的实现,它根据词袋模型运行,通过定义一系列权重来区分两个特征向量。
示例:
文档1 = ["I", "am", "awesome"]文档2 = ["I", "am", "great", "great"]
词典是:
["I", "am", "awesome", "great"]
因此,文档作为向量将看起来像:
文档1 = [1, 1, 1, 0]文档2 = [1, 1, 0, 2]
然后,算法学习一个决策边界方程,即:
feature_0 * weight_0 +feature_1 * weight_1 +feature_2 * weight_2 +feature_3 * weight_3 +bias
现在我有一个测试集,其格式与上述训练集非常相似。如何编写伪代码来测试这些值与我的决策边界方程,并据此为它们分配标签?
我想可能是这样的伪代码:
对于测试集中的每个单词 如果该单词存在于全局词典中 值 = 该单词的频率 * 学习到的权重 如果值 >= 0 返回 1 否则 返回 -1
但我想捕获整个特征向量的类别,而不仅仅是一个单词,所以我想这必须是一个求和?
回答:
我不确定我是否正确理解了你的意思。训练集和测试集需要有完全相同的格式。要进行测试,你只需针对已知的权重和特征(你的测试集)求解方程即可。
原则上,你应该一起生成测试和训练数据,以确保它们尽可能相同 – 然后将它们分成两组。根据决策边界的设置来生成测试数据(即标签)是一个非常糟糕的主意:测试集的主要目的是测试当前训练的边界与遵循未知、真实边界的数据。通过向系统中引入知识,你的测试结果将无法准确反映真实的准确性。