我有3113个训练样本，特征向量是78维的密集向量。特征的量级不同：有些大约是20，有些是20万。例如，这里有一个训练样本，使用vowpal-wabbit的输入格式。
0.050000 1 '2006-07-10_00:00:00_0.050000| F0:9.670000 F1:0.130000 F2:0.320000 F3:0.570000 F4:9.837000 F5:9.593000 F6:9.238150 F7:9.646667 F8:9.631333 F9:8.338904 F10:9.748000 F11:10.227667 F12:10.253667 F13:9.800000 F14:0.010000 F15:0.030000 F16:-0.270000 F17:10.015000 F18:9.726000 F19:9.367100 F20:9.800000 F21:9.792667 F22:8.457452 F23:9.972000 F24:10.394833 F25:10.412667 F26:9.600000 F27:0.090000 F28:0.230000 F29:0.370000 F30:9.733000 F31:9.413000 F32:9.095150 F33:9.586667 F34:9.466000 F35:8.216658 F36:9.682000 F37:10.048333 F38:10.072000 F39:9.780000 F40:0.020000 F41:-0.060000 F42:-0.560000 F43:9.898000 F44:9.537500 F45:9.213700 F46:9.740000 F47:9.628000 F48:8.327233 F49:9.924000 F50:10.216333 F51:10.226667 F52:127925000.000000 F53:-15198000.000000 F54:-72286000.000000 F55:-196161000.000000 F56:143342800.000000 F57:148948500.000000 F58:118894335.000000 F59:119027666.666667 F60:181170133.333333 F61:89209167.123288 F62:141400600.000000 F63:241658716.666667 F64:199031688.888889 F65:132549.000000 F66:-16597.000000 F67:-77416.000000 F68:-205999.000000 F69:144690.000000 F70:155022.850000 F71:122618.450000 F72:123340.666667 F73:187013.300000 F74:99751.769863 F75:144013.200000 F76:237918.433333 F77:195173.377778训练结果不太理想，所以我想通过归一化特征，使它们具有相同的量级。我计算了所有样本中每个特征的均值和标准差，然后使用newValue = (oldValue - mean) / stddev进行归一化，使它们的新的mean和stddev都为1。对于同一个样本，归一化后的特征值如下：
0.050000 1 '2006-07-10_00:00:00_0.050000| F0:-0.660690 F1:0.226462 F2:0.383638 F3:0.398393 F4:-0.644898 F5:-0.670712 F6:-0.758233 F7:-0.663447 F8:-0.667865 F9:-0.960165 F10:-0.653406 F11:-0.610559 F12:-0.612965 F13:-0.659234 F14:0.027834 F15:0.038049 F16:-0.201668 F17:-0.638971 F18:-0.668556 F19:-0.754856 F20:-0.659535 F21:-0.663001 F22:-0.953793 F23:-0.642736 F24:-0.606725 F25:-0.609946 F26:-0.657141 F27:0.173106 F28:0.310076 F29:0.295814 F30:-0.644357 F31:-0.678860 F32:-0.764422 F33:-0.658869 F34:-0.674367 F35:-0.968679 F36:-0.649145 F37:-0.616868 F38:-0.619564 F39:-0.649498 F40:0.041261 F41:-0.066987 F42:-0.355693 F43:-0.638604 F44:-0.676379 F45:-0.761250 F46:-0.653962 F47:-0.668194 F48:-0.962591 F49:-0.635441 F50:-0.611600 F51:-0.615670 F52:-0.593324 F53:-0.030322 F54:-0.095290 F55:-0.139602 F56:-0.652741 F57:-0.675629 F58:-0.851058 F59:-0.642028 F60:-0.648002 F61:-0.952896 F62:-0.629172 F63:-0.592340 F64:-0.682273 F65:-0.470121 F66:-0.045396 F67:-0.128265 F68:-0.185295 F69:-0.510251 F70:-0.515335 F71:-0.687727 F72:-0.512749 F73:-0.471032 F74:-0.789335 F75:-0.491188 F76:-0.400105 F77:-0.505242然而，这基本上产生了相同的测试结果（如果不是完全相同的话，因为我在每次训练前都会打乱样本顺序）。
我想知道为什么结果没有变化？
这是我的训练和测试命令：
rm -f cachecat input.feat | vw -f model --passes 20 --cache_file cachecat input.feat | vw -i model -t -p predictions --invert_hash readable_model（是的，我现在正在用训练数据进行测试，因为我只有很少的训练样本。）
更多背景信息：
一些特征是“二级特征”——它们是通过操作或对“一级特征”进行交叉乘积得出的（例如移动平均、一到三阶导数等）。如果我在计算二级特征之前归一化一级特征，实际上会显著改善模型。
所以我很困惑，为什么在生成二级特征之前归一化一级特征有很大帮助，而在生成二级特征之后归一化所有特征却完全没有帮助？
顺便说一下，因为我正在训练一个回归器，我使用SSE作为评判模型质量的指标。
回答：
vw默认会在运行过程中对特征值进行规模归一化。
这是在线算法的一部分。这种归一化是在运行时逐渐进行的。
实际上，它做的不止这些，vw的增强SGD算法还为每个特征保持独立的学习率，因此稀有特征的学习率不会像常见特征那样快速衰减（--adaptive）。最后，还有一个重要性感知的更新，由第三个选项控制（--invariant）。
三个独立的SGD增强选项（默认都开启）是：
--adaptive--invariant--normalized
最后一个选项是调整规模的选项（对大值和小值进行折扣）。你可以通过使用选项--sgd来禁用所有这些SGD增强功能。你也可以通过明确指定来部分启用任何子集。
总的来说，你有2^3 = 8种SGD选项组合可以使用。
