【编者按】本文作者指出了关于数据科学书上很少提及的三点经验：模型评价方法是关键，特征提取是根本，模型选择而非数据集规模最费时间。文章指出，处理上万维的特征和几十万的样本的现代算法是愚蠢的，而特征工程理论还不完善，更像是一门艺术。
这是数据科学大行其道的时代。各类课程、博客、培训学校如雨后春笋般出现。然而，每次我浏览这些学习资料时，我发现它们过于强调一些具体的算法。理解逻辑回归或者深度学习的原理当然很酷，可是一旦从事数据相关工作，你会发现还有其它一些同样重要的事情，甚至更为重要的。
我真不应该去责备这些课程。我在大学任教机器学习课程很多年了，课堂上主要是讲解具体算法。你掌握了支持向量机（SVM）、高斯混合模型（GMM）、k均值（k-Means）聚类等算法的细枝末节，但是直到写硕士论文的时候才学会如何正确地处理数据。
那么何谓正确？最终结果难道不能验证处理方法吗？得到出色的预测效果是否意味着一切顺利呢？显然没错，但关键是确保算法在未来数据上仍旧得到出色的效果。我在别处也写过，如果仅凭着训练数据的表现就轻信自己的算法，实在是太自欺欺人了。
那么下面是我的三个主要见解，其它书本里很少提及。
1、评价方法是关键
数据分析/机器学习/数据科学（或者无论你如何称呼它）的主要目标就是搭建一套系统并且将来在测试数据上效果好。监督式学习（例如分类）和非监督式学习（例如聚类）的差异导致很难笼统地解释它，但无非都是你收集一个数据集合，在其之上搭建系统和设计算法。但最终你需要将这种算法应用于未来的数据，同时希望确保在新数据上的表现和在原始数据集上的表现几乎一样好。
初学者常犯的错误就是仅仅关注手头数据集上的表现效果，然后认为在未来数据上同样奏效。不幸的是这种情况非常稀罕。我们暂且以监督式学习为例，它的目标是根据你的输入预测输出结果，比如把邮件分为垃圾邮件和正常邮件两类。
如果你只考虑训练集数据，那么机器很容易记住整个训练集，然后返回完美的测试结果（除非数据自相矛盾）。事实上，对人来说这种情况也很正常。还记得你在学外语背单词的时候，总是把单词顺序打乱来测试吗？因为否则大脑就会凭着之前单词的顺序来回忆。
机器凭借它们存储和读取大量数据的强大能力，轻而易举地完成同类的任务。这就造成过拟合现象，还缺乏泛化能力。
因此合适的评价方法是模拟有未来数据的场景，把数据集一分为二，一部分做训练集，然后在另一部分测试集数据上做预测。通常，训练集被分得大一些，这个过程也会重复很多遍以得到一系列测试结果，来观察算法的稳定性。这整个过程就称为交叉验证。
为了模拟在未来数据上的性能，，你需要把现有的数据一分为二，一份用来训练模型，另一份仅用于模型评估。
然而，差错还是会时常发生，尤其当数据集是非静态的，也就是说，数据的分布随着时间而发生变化。现实世界的数据往往如此。一月份的销售图表和六月份的看上去会迥然不同。
或者数据点之间相关性很高，就是说若你知道一个数据点，那另一个样本数据的信息也八九不离十了。打个比方，拿股票价格来说，天与天的波动并不剧烈，那么以天为单位随机切分训练/测试数据集会导致训练集和测试集的数据高度相关。
上述情况一旦发生了，你就会得到过度优化的结果，而这个算法在真实测试数据上的表现并不尽如人意。在最坏的情况下，你费尽精力说服别人采用你的算法，而算法却失效了，因此学会正确地评估模型是关键！
2、特征提取是根本
学习一种新算法令人激动，可事实上大多数复杂算法的效果大同小异，真正造成差异的是原始数据如何转化为用以学习的特征这个步骤。
现代学习算法十分强大，处理上万维的特征和几十万的样本都是小菜一碟，然而事实却是这些算法最后来看都是愚蠢的。尤其是那些学习线性模型的算法（如逻辑回归，线性支持向量机）简直和计算器一般简陋。
它们从足够的数据样本里鉴别出有效信息的本领很强大，但如果有效信息并不被包含其中，或者不能用输入特征的线性组合所表示，它们就没有了用武之地。它们本身也无法通过“洞察”数据来完成数据精简这一环节。
换句话说，如果找到合适的特征，数据量就能被大大缩减。理想情况下，如果把所有特征缩减到只剩下你想预测的方程，那就没什么可学习的了，对吧？这就是特征提取的强大之处！
需要提醒两点：首先，你必须确保完全理解这些等价算法中的一种，然后就可以一直用下去了。因此你并不真的需要逻辑回归加上线性SVM，选一种就够了。这还包括明白哪些算法几乎是等价的，使用这些模型的关键点在哪里。深度学习有些区别，但是各种线性模型的表达能力几乎一样。尽管，训练时间、解的稀疏性等会有差别，但大多数情况下它们的预测能力是相近的。
其次，你必须完全掌握特征工程。不幸的是，这更像是一门艺术，而且因为理论不完善书本里很少提及。特征值归一化是一条捷径。有时候，特征值需要取对数计算。若是能够降低一部分自由度，也就是说去掉数据中对预测结果没影响的那部分变量，你所需要训练的数据量将会大大降低。
有时候这些转换很容易被发现。例如，如果你要做手写字符识别，只要有前景和背景的区分，那么字符的颜色对识别显然是不重要的。
我知道课本总是推销一些看起来很强大的算法，似乎只要你把数据扔给它们就万事大吉了。从理论观点和无穷的数据来源角度来说，这也许是正确的。但现实中，数据和我们的时间是有限的，寻找高信息量的特征绝对是至关重要的。
3、时间瓶颈是模型选择，而非数据集规模
这是个在大数据时代你不愿大肆提及的事物，可是大多数数据集都能被完全加载到主存里。你的算法同样可能也不需要消耗太多时间计算。但你需要花费大量时间从原始数据中提取特征，通过交叉验证来比较不同特征提取方法和不同算法参数的效果差异。
在选择模型时，你尝试无数次各种参数的组合，并在相同的数据集上评价效果差异。
问题归根结底在于组合项的爆发式增长。假设现在只有两个参数，并且训练模型和在测试集上评价效果（按照上述正确的评价方式）需要大约一分钟时间。如果每个参数有5个候选值，采取5折交叉验证（把数据集分成5份，重复训练测试过程5次，每次用不同的一份数据作为测试集），这意味着你需要125轮计算来确定哪种算法效果最好，你的等待时间也将是大约2小时而不是1分钟。
一个好消息是上述过程很容易并行化，因为每轮计算都是相互独立的。特征提取也是如此，通常也是对每个数据集独立地进行相同操作（解析、提取、转换等），导致了所谓的“密集并行”（没错，这是个专业术语）。
一个坏消息主要针对大数据而言，因为所有的这些意味着对大规模实现复杂算法的需求很少，然而多数情况下目前用非分布式算法并行计算内存中的数据已经很有帮助了。
当然，也存在一些应用，比如针对广告优化的TB级日志的全局模型和百万用户级推荐系统，但常规的使用案例都是这里罗列的那些类型。
最后，拥有大量数据也不意味着你真的需要这么多。关键在于学习过程的复杂度。如果问题用简单的模型可以解决，就不要用过多的数据来训练模型参数。那样的话，随机抽样数据集的一部分就足够用了。另外如我在上文中提到的那样，有时候准确的特征表达也能大幅度削减需要的数据量。
总结
总之，知道如何正确评价结果能降低算法在未来测试数据上失败的风险。特征提取准确也许是提升效果的最佳途径，最后，大数据并不总是需要，尽管分布式计算能帮助减少训练时间。
我正着手把类似这样的文章和手边其它一些资料整理成一本电子书帮助大家入门数据科学。如果您想提供支持帮助，请在这里注册，书出版的时候会通知您。
