在金融领域，相对于自由裁量，系统化投资的优势在于可重复性。除了少数例外情况，人类表现往往不可重复。相反，如果设计得当，一项精心构建的系统化策略则有望实现可重复性。

机器学习提供了一种从数据中发现洞见的新方法，其中，机器在发现可重复内容方面发挥着积极作用。但受政治、自然和经济事件的影响，涉及持仓过夜的投资会有很大的随机性。正因为如此，学习算法发现的知识必然存在一定的不确定性。投资组合经理常常困惑于为何实际与回测结果不符，尽管他们非常谨慎地遵循科学方法，以避免过拟合问题。在使用机器学习方法时，评估从数据中学习到的模型稳定性尤为重要，因为这是自动模型选择中的一项输入。了解所学模型在行为上的差异对于做出模型选择决策至关重要。

本文量化了机器学习算法操作员可以根据问题类型预计到的该算法在决策和性能方面的不确定性。问题类型沿两个轴定义。第一个是问题的可预测性，它介于随机性和确定性之间。第二个是相关现象的“基本出现率”，即多久发生一次？在其他所有条件相同的情况下，发生的频率越低，正确预测的难度就越大。这两个轴共同构成了研究的基础。我们构建了与该网格上的离散点相对应的数据集，并记录了学习过程产生的两种方差。第一种是模型方差，用来度量模型决策的不稳定性。第二种是性能的结果方差。

我们的实验基于我们过去十年来在自动驾驶仪上使用机器学习算法的经验。经过多年观察，我们才明白这些算法程序行为方式（例如多头和空头交易的比例）背后的原因，最终我们将实验中两个不同的维度联系起来。

这些结果对研究人员和从业者都具有重要意义。对于研究人员来说，它们量化了机器学习算法在各种问题上的方差期望值。对于系统程序的操作员来说，它们量化了运行机器学习模型所带来的风险。