成后才可以开始做问卷。问卷应包括：

·　一些开放性问题，以此考察导致参与者做出相应判断的核心因素。

·　一份与案例有关的事实列表，参与者可以在列表中对它们的重要性进行评估。

·　一些有利于促进“外部视角”的问题。例如，如果案例需要进行估价，那么参与者应该给出该案例与同类别案例的估价的对比，即结果是高于平均值还是低于平均值。

与高管们召开启动会

将用于审查的案例所需材料都准备好之后，应当安排一次会议，让项目团队向公司领导层汇报审查内容。会议讨论的内容应当涉及研究的可能结果，当然，该可能结果中也应包括发现了令人难以接受的系统噪声。会议的目的是听取对即将实施的研究计划的反对意见，并获取领导层愿意接受任何结果的承诺，如果没有这样的承诺，进行下一步是毫无意义的。如果有人提出了强烈的反对意见，那么项目团队可能就需要完善案例材料并再次尝试。

当高管们接受噪声审查的设计时，项目团队应当让他们陈述对研究结果的期望。他们应讨论与下面这些问题类似的问题：

·　对于每一个案例而言，如果随机选择一组答案，你们预期的分歧程度有多大？成后才可以开始做问卷。问卷应包括：

·　一些开放性问题，以此考察导致参与者做出相应判断的核心因素。

·　一份与案例有关的事实列表，参与者可以在列表中对它们的重要性进行评估。

·　一些有利于促进“外部视角”的问题。例如，如果案例需要进行估价，那么参与者应该给出该案例与同类别案例的估价的对比，即结果是高于平均值还是低于平均值。

与高管们召开启动会

将用于审查的案例所需材料都准备好之后，应当安排一次会议，让项目团队向公司领导层汇报审查内容。会议讨论的内容应当涉及研究的可能结果，当然，该可能结果中也应包括发现了令人难以接受的系统噪声。会议的目的是听取对即将实施的研究计划的反对意见，并获取领导层愿意接受任何结果的承诺，如果没有这样的承诺，进行下一步是毫无意义的。如果有人提出了强烈的反对意见，那么项目团队可能就需要完善案例材料并再次尝试。

当高管们接受噪声审查的设计时，项目团队应当让他们陈述对研究结果的期望。他们应讨论与下面这些问题类似的问题：

·　对于每一个案例而言，如果随机选择一组答案，你们预期的分歧程度有多大？·　从商业的角度来看，可接受的最大程度的分歧是多少？

·　如果出现一定程度的错误高估或低估（比如15%），预计损失有多大？

应该详细记录上述问题的答案，以确保当审查的实际结果出来时大家仍记得且相信这些答案。

研究的管理

从一开始就应该告知被审查部门的经理，他们的部门被选择来做一项特殊的研究。有一点很重要，在描述项目时不能使用“噪声审查”这个词，尤其是在形容人的时候，应避免使用“噪声”和“充满噪声”这样的词，应使用“决策研究”这样的中性词。

部门经理要立即着手收集资料，并在项目经理和项目团队成员的参与下，向相关人员介绍任务，而且应当用概括性表述来介绍任务的目的，比如“企业对决策者如何得出结论感兴趣”。

其中很重要的一点是，需要向参与研究的专业人士确认，包括项目团队在内的企业中的任何人，都不会知道他们个人的答案。如果有必要，可以聘请外部公司匿名处理数据。另外，强调审查不会对该部门产生任何特殊影响也很重要，让他们了解他们只是被选为部门代表，代表企业完成判断任务。为了确保结果的可靠性，部门内所有有资格参与的专业人士都应参与到研究中。此外，还可以专门为这个任务安排半个工作日的时间，这样有助于使参与者认识到任务的重要·　从商业的角度来看，可接受的最大程度的分歧是多少？

·　如果出现一定程度的错误高估或低估（比如15%），预计损失有多大？

应该详细记录上述问题的答案，以确保当审查的实际结果出来时大家仍记得且相信这些答案。

研究的管理

从一开始就应该告知被审查部门的经理，他们的部门被选择来做一项特殊的研究。有一点很重要，在描述项目时不能使用“噪声审查”这个词，尤其是在形容人的时候，应避免使用“噪声”和“充满噪声”这样的词，应使用“决策研究”这样的中性词。

部门经理要立即着手收集资料，并在项目经理和项目团队成员的参与下，向相关人员介绍任务，而且应当用概括性表述来介绍任务的目的，比如“企业对决策者如何得出结论感兴趣”。

其中很重要的一点是，需要向参与研究的专业人士确认，包括项目团队在内的企业中的任何人，都不会知道他们个人的答案。如果有必要，可以聘请外部公司匿名处理数据。另外，强调审查不会对该部门产生任何特殊影响也很重要，让他们了解他们只是被选为部门代表，代表企业完成判断任务。为了确保结果的可靠性，部门内所有有资格参与的专业人士都应参与到研究中。此外，还可以专门为这个任务安排半个工作日的时间，这样有助于使参与者认识到任务的重要性。

需要注意的是，所有参与者都要同时完成这个任务，但是在任务进行的过程中，他们应该身处彼此独立的空间，并且不能相互交流。项目团队可以在研究过程中回答问题。

分析和结论

项目团队将负责对每一位参与者评估的多个案例进行数据分析，包括对整体噪声的数量、噪声的成分、水平噪声和模式噪声的数量等进行分析。如果案例材料允许，进行数据分析时还可以识别出反应中的统计偏差。项目团队还有另一个重要的任务，即通过分析被试在问卷中的反馈来确定判断中变异的来源。在这些问卷反馈中，被试解释了他们做出某种反应的理由，并表明了哪些事实对他们的决策起到了决定性作用。通过聚焦分布于两端的极端反应，团队可以探寻数据中的模式，寻找在员工培训、企业流程以及企业为员工提供的信息中可能存在的缺陷。

顾问和内部项目团队将共同开发工具和流程，应用决策卫生策略和消除偏差的原则，以改善部门内的决策与判断，这一过程可能会延续数月。与此同时，顾问和专业团队还将编写一份项目报告提交给该组织的领导。

此时，企业已经在它的一个部门中做了噪声审查的尝试。如果这个尝试被认为是成功的，接下来管理团队可能会对企业内的判断与决策开展更广泛的评估以及品质方面的提升。性。

需要注意的是，所有参与者都要同时完成这个任务，但是在任务进行的过程中，他们应该身处彼此独立的空间，并且不能相互交流。项目团队可以在研究过程中回答问题。

分析和结论

项目团队将负责对每一位参与者评估的多个案例进行数据分析，包括对整体噪声的数量、噪声的成分、水平噪声和模式噪声的数量等进行分析。如果案例材料允许，进行数据分析时还可以识别出反应中的统计偏差。项目团队还有另一个重要的任务，即通过分析被试在问卷中的反馈来确定判断中变异的来源。在这些问卷反馈中，被试解释了他们做出某种反应的理由，并表明了哪些事实对他们的决策起到了决定性作用。通过聚焦分布于两端的极端反应，团队可以探寻数据中的模式，寻找在员工培训、企业流程以及企业为员工提供的信息中可能存在的缺陷。

顾问和内部项目团队将共同开发工具和流程，应用决策卫生策略和消除偏差的原则，以改善部门内的决策与判断，这一过程可能会延续数月。与此同时，顾问和专业团队还将编写一份项目报告提交给该组织的领导。

此时，企业已经在它的一个部门中做了噪声审查的尝试。如果这个尝试被认为是成功的，接下来管理团队可能会对企业内的判断与决策开展更广泛的评估以及品质方面的提升。附录2

决策观察者检查清单

本附录给出了一份决策观察者（见第19章）检查清单的通用示例。这里提供的清单大致遵循做重要决策的时间顺序。

清单中每一项之后的参考问题都对相应的项目做了进一步说明。决策观察者在审视决策过程时应该问自己这些问题。

决策观察者不应照搬照抄这个清单。我们希望它发挥的作用是为决策观察者提供灵感和基准，并使决策观察者能够据此设计出适合自己的偏差观察清单。

偏差观察清单

1．判断方法

a．替代附录2

决策观察者检查清单

本附录给出了一份决策观察者（见第19章）检查清单的通用示例。这里提供的清单大致遵循做重要决策的时间顺序。

清单中每一项之后的参考问题都对相应的项目做了进一步说明。决策观察者在审视决策过程时应该问自己这些问题。

决策观察者不应照搬照抄这个清单。我们希望它发挥的作用是为决策观察者提供灵感和基准，并使决策观察者能够据此设计出适合自己的偏差观察清单。

偏差观察清单

1．判断方法

a．替代·　团队对证据的选择和讨论的焦点是否表明，他们用一个简单问题替代了分配给他们的困难问题？

·　团队是否忽视了一个重要因素或过度重视了一个无关因素？

b．内部视角

·　团队是否采用了外部视角作为其决策考量的一部分，并认真尝试运用相对判断而非绝对判断？

c．观点的多样性

·　是否有理由怀疑团队成员的判断存在共同的偏差？正是这种共同的偏差导致他们出现共性的错误。那么，你能否想到了这个团队没有提及的一个相关观点或专业知识？

2．预判和过早下结论

a．启动预判断

·　决策者中是否有人会因为得出某个结论而比得出其他结论的人获利更多？

·　是否已经有人认定了某个结论？有没有理由怀疑该结论存在偏见？

·　持不同意见的人表达他们的观点了吗？

·　是否存在对已然失败的行动仍固执坚持的风险？·　团队对证据的选择和讨论的焦点是否表明，他们用一个简单问题替代了分配给他们的困难问题？

·　团队是否忽视了一个重要因素或过度重视了一个无关因素？

b．内部视角

·　团队是否采用了外部视角作为其决策考量的一部分，并认真尝试运用相对判断而非绝对判断？

c．观点的多样性

·　是否有理由怀疑团队成员的判断存在共同的偏差？正是这种共同的偏差导致他们出现共性的错误。那么，你能否想到了这个团队没有提及的一个相关观点或专业知识？

2．预判和过早下结论

a．启动预判断

·　决策者中是否有人会因为得出某个结论而比得出其他结论的人获利更多？

·　是否已经有人认定了某个结论？有没有理由怀疑该结论存在偏见？

·　持不同意见的人表达他们的观点了吗？

·　是否存在对已然失败的行动仍固执坚持的风险？