目录
第一章、简介
第二章、开发集与测试集的大小
2.1、 数据集较小时 训练集/开发集/测试集 的划分规则。
2.2、数据集较大时 训练集/开发集/测试集 的划分规则。
2.3、 用置信度评估测试集的性能。
2.4、数据集较大情况下可考虑省略 测试集
2.5、小结
第一章、简介
- 本文基于吴恩达人工智能课程做学习笔记、并融入自己的见解(若打不开请复制到浏览器中打开)https://study.163.com/courses-search?keyword=吴恩达。
- 本文第二章介绍 1.6 开发集与测试集的大小。
第二章、开发集与测试集的大小
2.1、 数据集较小时 训练集/开发集/测试集 的划分规则。
- 在上一个视频中,你们知道了你的开发集和测试集为什么必须来自同一分布,但它们规模应该多大呢?
- 在深度学习时代,设立开发集和测试集的方针也在变化,我们来看看一些最佳做法。
- 你可能听说过一条经验法则,在机器学习中把你取得的全部数据用 70/30 比例分成训练集和测试集。
- 或者如果你必须设立训练集、开发集和测试集,你会这么分划分成60%训练集、20%开发集和20%测试集。
- 在机器学习的早期,这样划分是相当合理的,特别是以前的数据集大小要小得多,所以如果你总共有 100 个例子,这样 70/30 或者 60/20/20 分的经验法则是相当合理的,如果你有几千个例子,或者有一万个例子,这些做法也还是合理的。
2.2、数据集较大时 训练集/开发集/测试集 的划分规则。
- 但在现代机器学习中,我们更习惯操作规模大得多的数据集。
- 比如说你有 1 百万个训练例子,这样分可能更合理,98%作为训练集,1%开发集 1%测试集。我们用 D 和 T 缩写来表示开发集和测试集,因为如果你有1百万个例子,那么1%就是10,000个例子,这对于开发集和测试集来说可能已经够了。
- 所以在现代深度学习时代,有时我们拥有大得多的数据集,所以使用小于20%的比例,或者小于30%比例的数据作为开发集和测试集也是合理的。
- 而且因为深度学习算法对数据的胃口很大,我们可以看到那些有海量数据集的问题,有更高比例的数据划分到训练集里。
2.3、 用置信度评估测试集的性能。
- 那么测试集呢? 要记住测试集的作用是完成系统开发之后,测试集可以帮你评估投产系统的性能,
- 测试集发挥作用的方法就是令你的测试集足够大,能够以高置信度评估系统整体性能。所以,除非你需要对最终投产系统有一个很精确的指标,否则一般来说,测试集不需要上百万个例子。
- 对于你的应用程序,也许你想有10,000个例子就能给你足够的置信度来给出性能指标了,也许100,000个等等可能就够了。这数目可能远远小于整体数据集的30%或20%,例子数目多少的选取,取决于你有多少数据。
2.4、数据集较大情况下可考虑省略 测试集
- 对于某些应用,你也许不需要对系统性能有置信度很高的评估,也许你只需要训练集和开发集,我认为不单独分出一个测试集也是可以的,即不需要测试也是可以的。
- 事实上,有时在实践中,有些人会只分成训练集和开发集。他们实际上会在开发集上迭代,所以这里没有测试集(这部分内容,本文纠正了吴恩达视频的翻译不匹配问题)。
- 他们有的是训练集和开发集,但没有测试集。
- 不过在机器学习的历史里,不是每个人都把术语定义分得很清的。有时人们说的开发集,其实应该看做测试集,只要你有数据去训练,有数据去调试就够了。
- 你打算不管测试集,直接部署最终系统,所以不用太担心它的实际表现。我觉得这也是很好的 就将它们称为训练集、开发集就好,然后说清楚你没有测试集,这是不是有点不正常呢?
- 我绝对不建议在搭建系统时省略测试集,因为有个单独的测试集比较令我安心,因为你可以使用这组不带偏差的数据来测量系统的性能。
- 但如果你的开发集非常大,这样你就不会对开发集过拟合得太厉害。这种情况 只有训练集和测试集也不是完全不合理的,不过我一般不建议这么做。
2.5、小结
- 总结一下,在大数据时代,旧的经验规则比如70/30分不再适用了。
- 现在流行的是把大量数据分到训练集、然后少量数据分到开发集和测试集,特别是当你有一个非常大的数据集时,以前的经验法则其实是为了确保开发集足够大,能够达到它的目的,即开发集的目的是帮你评估不同的想法,然后选出 A 还是 B 更好。
- 测试集的目的是评估你最终的成本偏差,你只需要设立足够大的测试集,可以用来这么评估就行了,可能只需要远远小于总体数据量的 30%。
- 所以我希望本视频能给你们一点指导和建议,让你们知道如何在深度学习时代设立开发和测试集。
- 有时候在研究机器学习的问题途中,你可能需要更改评估指标,或者改动你的开发集和测试集,我们会讲什么时候需要这样做。