我有一个关于机器学习的分类和回归问题。第一个问题，关于以下数据集http://it.tinypic.com/view.php?pic=oh3gj7&s=8#.VIjhRDGG_lF

我们能说这个数据集是线性可分的吗？为了应用线性模型进行分类，这个数据集是否不需要输入空间的转换，或者这种转换对这个数据集来说是不可能的？我认为答案是否定的，但对于第二个问题，我不确定是否有可能对这个数据集进行转换。

第二个关于回归问题的问题：给定以下数据集 f : R -> Rhttp://it.tinypic.com/view.php?pic=madsmr&s=8#.VIjhVjGG_lE

我们能说：可以使用线性模型来学习与这个数据集相关联的函数吗？给定这个数据集，是否无法确定线性模型的最佳配置？

我正在阅读Tom Mitchell的《机器学习》和Bishop的《模式识别与机器学习》，但我仍然难以给出正确的答案。提前感谢您。

回答：

这两个数据集都不能使用线性分类/回归进行建模。

关于“输入数据转换”，如果数据集是一致的（没有两个完全相同的点具有不同的标签），总存在一种转换，使数据在转换后线性可分。特别是，可以通过以下方式构建这种转换：

phi(x) = 1 iff label of x is "1"

换句话说，你可以将所有正样本映射到“1”，负样本映射到“0”，这样你的数据现在就变得简单地线性可分了。或者简单地将你的N个点映射到R^N空间中的N个单位向量，使得第i个点被映射到[0 0 0 … 1 … 0 0 0]^T，其中这个“1”出现在第i个位置。对于任何标记，这种数据集都是简单地线性可分的。