的定理勾股定理或许你还记得在一个直角三角......《噪声》摘录

管理类 日期 2023-06-15
的定理——勾股定理。或许你还记得,在一个直角三角形中,两条直角边长的平方和等于斜边长的平方。因此,误差方程式就更直观了,其中均方误差、偏差的平方和噪声的平方类似于直角三角形的三条边各自的平方。图5-5表明均方误差(黑色方块区域)的面积等于另外两个方块区域的面积之和。左图中噪声多于偏差,右图中偏差多于噪声。然而,两种情况的均方误差是相同的,均方误差的分解方程在这两种情况下都成立。

总体误差(均方误差)

=

2偏差

+

2噪声

Overall Error(MSE)

=

2Bias

+

2Noise的定理——勾股定理。或许你还记得,在一个直角三角形中,两条直角边长的平方和等于斜边长的平方。因此,误差方程式就更直观了,其中均方误差、偏差的平方和噪声的平方类似于直角三角形的三条边各自的平方。图5-5表明均方误差(黑色方块区域)的面积等于另外两个方块区域的面积之和。左图中噪声多于偏差,右图中偏差多于噪声。然而,两种情况的均方误差是相同的,均方误差的分解方程在这两种情况下都成立。

总体误差(均方误差)

=

2偏差

+

2噪声

Overall Error(MSE)

=

2Bias

+

2Noise图5-5 均方误差的两种分解情形

正如上面的数学公式以及图5-5所示,偏差和噪声在误差方程中扮演了类似的角色,它们虽彼此独立,但被赋予了相同的权重。需要注意的是,在随后的章节中,我们在分析噪声的成分时也会用类似的平方和分解的方式。

误差方程解答了西姆金提出的问题。同等程度地减少噪声和偏差,对总体误差会产生什么影响?答案很明显:在误差方程中,偏差和噪声可以互换,因此无论是减少噪声还是减少偏差,对减少总体误差而言意义是一样的。在图5-2中,偏差和噪声刚好相等(都是10%),因而它们对总体误差的影响是等同的。

误差方程表明,西姆金最初想减少噪声的想法是正确的。无论你何时发现噪声,你都需要想尽办法减少它。这一方程表明,西姆金的领导所认为的“GoodSell应该在预测中的偏差的测量结果出来之后,再去减少噪声”的观点是错误的。对于总体误差而言,噪声和偏差是独立的:无论偏差的大小如何,减少噪声都有益处。

这个结论虽然很违反直觉,但非常重要。为了说明这一点,图5-6表明了减少相同数量的噪声和偏差所产生的效果。为了帮助你理图5-5 均方误差的两种分解情形

正如上面的数学公式以及图5-5所示,偏差和噪声在误差方程中扮演了类似的角色,它们虽彼此独立,但被赋予了相同的权重。需要注意的是,在随后的章节中,我们在分析噪声的成分时也会用类似的平方和分解的方式。

误差方程解答了西姆金提出的问题。同等程度地减少噪声和偏差,对总体误差会产生什么影响?答案很明显:在误差方程中,偏差和噪声可以互换,因此无论是减少噪声还是减少偏差,对减少总体误差而言意义是一样的。在图5-2中,偏差和噪声刚好相等(都是10%),因而它们对总体误差的影响是等同的。

误差方程表明,西姆金最初想减少噪声的想法是正确的。无论你何时发现噪声,你都需要想尽办法减少它。这一方程表明,西姆金的领导所认为的“GoodSell应该在预测中的偏差的测量结果出来之后,再去减少噪声”的观点是错误的。对于总体误差而言,噪声和偏差是独立的:无论偏差的大小如何,减少噪声都有益处。

这个结论虽然很违反直觉,但非常重要。为了说明这一点,图5-6表明了减少相同数量的噪声和偏差所产生的效果。为了帮助你理解下图中左右两图的内容,最初的误差分布(来自图5-2)用虚线表示。

图5-6 偏差减半(A)与噪声减半(B)时的误差分布情况

在图5-6的图A中,我们假设西姆金的领导决定采用自己的方式:他发现了偏差,随后决定将其减半,如通过向过于乐观的预测师提供反馈的方式。他未对噪声采取任何措施。这种改进的效果是显而易见的:预测的总体分布更接近真实值了。

在图5-6的图B中,我们可以看到,如果西姆金的提议获得了领导的批准,其结果将会是:偏差没有改变,噪声减半。看似矛盾的是,噪声的减少似乎使问题变得更严重了——预测更加集中了(更少的噪声),而不是更准确了(并未减少偏差)。84%的预测落入真实值的一侧,几乎所有(98%)的预测都错误地高估了真实值。减少噪声似乎使预测更加不准确了——这肯定不是西姆金所希望的!

尽管看上去如此,但图5-6的图B中的总体误差和图5-6的图A中的总体误差减少的数量是一样的。图5-6的图B中情况变得更糟的错觉源自对偏差的错误直觉。测量偏差的目的并不是测量正误差和负误差之解下图中左右两图的内容,最初的误差分布(来自图5-2)用虚线表示。

图5-6 偏差减半(A)与噪声减半(B)时的误差分布情况

在图5-6的图A中,我们假设西姆金的领导决定采用自己的方式:他发现了偏差,随后决定将其减半,如通过向过于乐观的预测师提供反馈的方式。他未对噪声采取任何措施。这种改进的效果是显而易见的:预测的总体分布更接近真实值了。

在图5-6的图B中,我们可以看到,如果西姆金的提议获得了领导的批准,其结果将会是:偏差没有改变,噪声减半。看似矛盾的是,噪声的减少似乎使问题变得更严重了——预测更加集中了(更少的噪声),而不是更准确了(并未减少偏差)。84%的预测落入真实值的一侧,几乎所有(98%)的预测都错误地高估了真实值。减少噪声似乎使预测更加不准确了——这肯定不是西姆金所希望的!

尽管看上去如此,但图5-6的图B中的总体误差和图5-6的图A中的总体误差减少的数量是一样的。图5-6的图B中情况变得更糟的错觉源自对偏差的错误直觉。测量偏差的目的并不是测量正误差和负误差之间的不平衡,而是测量平均误差,即钟形曲线的顶点与真实值之间的距离。在图5-6的图B中,这一平均误差与原始情境相比并无差异——它仍然很高,占10%,但并没有更糟糕。的确,偏差变得更加显著,因为它占了总体误差中更大的部分——80%而不是50%,但这是因为噪声减小了。相反,在图5-6的图A中,偏差减少了而噪声没有。最终的结果是,图5-6的图A和图5-6的图B中的均方误差相同,也就是说,减少噪声和减少相同数量的偏差对均方误差的影响是相同的。

正如本案例所示,均方误差与我们对预测性判断进行评分的一般直觉相冲突。为了最小化均方误差,你需要尽可能避免大的误差。例如,如果你在测量长度,那么将误差从11厘米减少到10厘米的效果是将误差从1厘米减少至完全消失的效果的21倍。可惜,关于这一点人们的直觉恰恰相反:人们非常渴望一次性把问题全部解决,对小的误差高度敏感,但对两个大的误差之间的差异不敏感。即使你真心相信你的目标在于获得准确的判断,但你对结果的直觉反应与基于科学计算的准确性并不完全匹配。

当然,最佳的解决办法是既减少噪声,也减少偏差。既然偏差和噪声是彼此独立的,那就没有必要在西姆金和其领导的方案之间二选一。因此,如果GoodSell决定减少噪声,而减少噪声又可以使偏差更加清晰明了,那么这种选择就是正确的。也就是说,这确实是一件好事。减少噪声可以帮助公司进一步减少偏差。

然而,如果偏差远远大于噪声,那么减少噪声就不再是首要问题。GoodSell的例子给了我们另一个值得重视的教训。在上述简化的模型中,我们假定噪声和偏差是等同的。从误差方程来看,它们对总体误间的不平衡,而是测量平均误差,即钟形曲线的顶点与真实值之间的距离。在图5-6的图B中,这一平均误差与原始情境相比并无差异——它仍然很高,占10%,但并没有更糟糕。的确,偏差变得更加显著,因为它占了总体误差中更大的部分——80%而不是50%,但这是因为噪声减小了。相反,在图5-6的图A中,偏差减少了而噪声没有。最终的结果是,图5-6的图A和图5-6的图B中的均方误差相同,也就是说,减少噪声和减少相同数量的偏差对均方误差的影响是相同的。

正如本案例所示,均方误差与我们对预测性判断进行评分的一般直觉相冲突。为了最小化均方误差,你需要尽可能避免大的误差。例如,如果你在测量长度,那么将误差从11厘米减少到10厘米的效果是将误差从1厘米减少至完全消失的效果的21倍。可惜,关于这一点人们的直觉恰恰相反:人们非常渴望一次性把问题全部解决,对小的误差高度敏感,但对两个大的误差之间的差异不敏感。即使你真心相信你的目标在于获得准确的判断,但你对结果的直觉反应与基于科学计算的准确性并不完全匹配。

当然,最佳的解决办法是既减少噪声,也减少偏差。既然偏差和噪声是彼此独立的,那就没有必要在西姆金和其领导的方案之间二选一。因此,如果GoodSell决定减少噪声,而减少噪声又可以使偏差更加清晰明了,那么这种选择就是正确的。也就是说,这确实是一件好事。减少噪声可以帮助公司进一步减少偏差。

然而,如果偏差远远大于噪声,那么减少噪声就不再是首要问题。GoodSell的例子给了我们另一个值得重视的教训。在上述简化的模型中,我们假定噪声和偏差是等同的。从误差方程来看,它们对总体误差的影响也是等同的:偏差和噪声各贡献了总体误差的50%。然而,正如我们所注意到的,84%的分析师会在同一个方向上犯错。如此之大的偏差(7个人中约有6个人朝同一个方向犯错)才产生了与噪声一样大的效果,因此在一些噪声比偏差更多的情境中,我们发现更大的误差就不足为奇了。

我们在上文中用单个案例展示了误差方程的应用,这个案例就是预测GoodSell在某一地区的市场份额。当然,人们总是希望在多个案例中进行一次性噪声审查,方法是相同的:用误差方程计算各个案例的均方误差,然后对它们取平均值。均方误差就是偏差平方与噪声平方之和。对于西姆金而言,如果能得到多个地区的多个预测数据就更好了,无论它们是相同还是不同的预测师做出的预测。这些平均值能够让她对GoodSell的预测系统偏差和噪声有一个更清晰的认识。

噪声的代价

误差方程是本书的思想基础,它为减少预测性判断中的系统噪声提供了理论依据。原则上,减少预测性判断中的系统噪声这一目标与减少统计偏差同样重要。需要强调的是,统计偏差不是社会歧视的代名词,它只是一组判断中的平均误差。

误差方程和我们从中获得的结论均有赖于用均方误差来测量总体误差。这一规则适用于纯粹的预测性判断,包括预测和评估,它们都力求以最大的精度(最小的偏差)和最高的准确性(最小的噪声)来接近真实值。差的影响也是等同的:偏差和噪声各贡献了总体误差的50%。然而,正如我们所注意到的,84%的分析师会在同一个方向上犯错。如此之大的偏差(7个人中约有6个人朝同一个方向犯错)才产生了与噪声一样大的效果,因此在一些噪声比偏差更多的情境中,我们发现更大的误差就不足为奇了。

我们在上文中用单个案例展示了误差方程的应用,这个案例就是预测GoodSell在某一地区的市场份额。当然,人们总是希望在多个案例中进行一次性噪声审查,方法是相同的:用误差方程计算各个案例的均方误差,然后对它们取平均值。均方误差就是偏差平方与噪声平方之和。对于西姆金而言,如果能得到多个地区的多个预测数据就更好了,无论它们是相同还是不同的预测师做出的预测。这些平均值能够让她对GoodSell的预测系统偏差和噪声有一个更清晰的认识。

噪声的代价

误差方程是本书的思想基础,它为减少预测性判断中的系统噪声提供了理论依据。原则上,减少预测性判断中的系统噪声这一目标与减少统计偏差同样重要。需要强调的是,统计偏差不是社会歧视的代名词,它只是一组判断中的平均误差。

误差方程和我们从中获得的结论均有赖于用均方误差来测量总体误差。这一规则适用于纯粹的预测性判断,包括预测和评估,它们都力求以最大的精度(最小的偏差)和最高的准确性(最小的噪声)来接近真实值。

声明:部分内容来自互联网,如侵权请联系删除!
友情:思诺速记

相关推荐

管理类 / 日期:2024-03-11
理解那个东西,但是我已经发现,他的信息距离和我越来越近了。因为他不再看《舟山晚报》,我也不再看《新民晚报》了,我们看的都是腾讯新闻App,看新闻头条,他也看我的朋友圈。所以信息高速一旦被打通了,一、二线和三、四线城市之间的认知壁垒也逐渐被打破了。要掌握70%~80%的都市消费,其实就是掌握两亿中产阶层。像分众这样的公司,之所以能够覆盖78%有家庭汽车的、80
管理类 / 日期:2024-03-11
实现资产最大限度的增值。一些合伙人可以通过“股权转让”等资产重组方式退出。二、退出如何结算当合伙人退出公司后,其所持的股权应该按照一定的形式退出。一方面对于继续在公司里做事的其他合伙人更公平;另一方面也便于公司的持续稳定发展。而合伙人退出之后,如何结算也是一个问题。一般采用三种方法:估值法、参考相关法律、另外约定。估值法,即当合伙人中途退出,退出时公司可以按
管理类 / 日期:2023-06-15
真格地开了一家大型商店,那么它就享有不可动摇的垄断地位。如果另一家商店进入了这个小市场,那么两家商店都没有足够的客流来支持自身的盈利。如果其他影响因素相同,那么新来的商店也不可能把在位商店挤走。所以对于新商店而言,最好的选择就是不进入这个偏远小镇的市场,也就不会对在位商店的垄断地位造成纷扰。与内布拉斯加州的偏远小镇形成鲜明对比的是纽约的市中心。这个大市场可以
管理类 / 日期:2023-06-14
伟大的领导者是让别人伟大的人《人类简史》一书提到过一种观点:最成功的植物其实是小麦,因为它在1万年以前还只是中亚的小品种植物,现在已经成为全球分布最广、数量最多的植物,因为人类需要它。万事万物都在追求自己的存在度,企业的存在度可以用时间和空间衡量——所谓的全球化大企业,就是被全世界人需要的企业;所谓的百年企业,就是经得起时间考验,连续100年都被需要的企业。

推荐列表

热门标签