评估社会援助:扩大规模的过程也需要证据

没有土地的农业工人和他们的家人经常在种植和收获之间挨饿，这是劳动力需求下降的“淡季”。在孟加拉国北部，我和同事们测试了一种缓解这种饥饿的方法。我们没有强迫农村地区创造就业，而是帮助劳动者暂时转移到附近的城市，那里有建筑和其他工作岗位。

我们的试点研究包括1900个家庭，在2008年通过随机对照试验(RCT)进行了评估，似乎是成功的。11.50美元的小额补贴——足够支付往返巴士车费和几天的食物——使农业工人在淡季进城的比例从36%提高到58%。这些移民的家庭每人每天额外摄入超过600卡路里的热量——基本上，他们吃的是三餐而不是三餐。此外，大约一半的迁入者在随后的萧条季节选择再次迁移，而没有获得补贴，许多人找到了2008年联系的同一家雇主的工作。

我们分阶段扩大了这个项目的规模，每次都扩大了我们所做的观察:这些观察包括离婚风险、商品价格的变化和家庭分离的成本。这些数据帮助我们捕捉到越来越多的流动人口离开农村进入城市劳动力市场的意外后果。结果仍然很有希望，孟加拉国的一个大型小额信贷组织获得了慈善支持，向数十万家庭提供季节性移民贷款。但结果令人失望——补贴主要集中在那些无论如何都会移民的人身上，该项目很快就被终止了。尽管这令人沮丧，但我仍然为收集这些帮助决策的信息感到自豪:它防止了浪费，意味着用于反贫困项目的有限资金得到了更好的利用。

当项目进入“扩展阶段”时，重点往往立即转移到解决更广泛实施项目的实际问题上(例如如何向政府工作人员传授一项创新，如何向数万人而不是数百人发放补贴，如何在政府系统中整合一个项目)。所有这些工作虽然必不可少，但却忽视了一个至关重要的问题:令人兴奋的试验结果是否依然有效。许多- -如果不是大多数- -发展方案遇到只有大规模出现的不确定性和复杂性。在最初的试验中，这些现象很少被观察到，因此无法进行分析。简单地在多个地区重复同样规模的干预措施是不够的。

为缓解世界粮食危机，应将资源集中用于妇女和女童

我花了十多年的时间，试图系统地理解缩放复杂性是如何产生的，以及我们分析它们所需的方法工具和数据。2017年，我在康涅狄格州的纽黑文联合创立了耶鲁创新与规模研究计划，目的是将信息丰富、系统的评估形式化。

“循证”慈善和政策制定已成为经济发展和全球卫生界的重要流行语。有效的利他主义运动——报纸上有名的描述《经济学人》作为“试图将科学的严谨性带到慈善事业中”——每年指导数亿慈善资金。那些对循证决策和慈善事业感兴趣的人应该认识到，在扩大试点项目的过程中需要严格的证据标准。这些标准是激发人们对结果的信心的唯一途径，这一结果在一开始就让支持者们兴奋不已。

经验教训

以下是移民项目告诉我们的，随着干预措施的扩大，研究问题的集合应该如何扩大。

首先，考虑直接受益者以外的影响。在规模上，项目往往会导致反馈循环，从而产生市场或城市级别的变化。在我们的例子中，鼓励孟加拉国农村人口移民会影响到其他与移民在同一劳动力市场上竞争的人(无论是在原籍国还是目的地国)。农村的工资可能会上涨，城市的工资可能会下降。外迁人口的增加可能会影响到农业劳动者之间的非正式保险网络，这是一个分担风险的体系，一个家庭借钱给另一个家庭或与另一个家庭分享食物，因为他们知道这种帮助有一天可能会得到回报。也许这些网络会因移民收入的增加而加强，或者因他们长期的离开而削弱。

第二，在最初的计划目标之外，要关注更广泛的社会变化。在我们的例子中，农民工的配偶和子女吃得更可靠，但可能面临离婚、家庭暴力或从城市带回传染病的新风险。

第三，随着新参与者参与项目，要预料到政治和运营风险。例如，当许多工人离开时，土地所有者被迫支付更高的工资，他们拥有强大的政治力量，可以组织起来破坏该计划。维持该项目可能需要安抚他们的担忧，或许可以向他们提供节省劳力的技术，如除草剂喷雾器。但这反过来又会损害环境。

简单地委派他人来扩展项目也会带来风险:那些负责招募更多参与者的人可能会把注意力放在最容易联系到的人身上，而不是那些最有可能受益的人。对小额信贷组织来说，一个常见的(并非不合理的)成功衡量标准是贷款数量的最大化，但成功的干预往往需要针对难以触及的群体。要解决这一风险，需要彻底了解合作伙伴组织的激励措施，包括其外地工作人员的职业激励措施，以及这些措施与最初由研究人员驱动的试点试验中的绩效激励措施有何不同。每一个合作组织都应该被视为一个可以改变结果的新变量。

第四，合理增加规模。我们选择分阶段和分几年扩大移徙方案。在每个阶段，我们开发了新的实验设计，以更好地理解更广泛的收益和成本，以及新的复杂性和风险。在1900个家庭中，我们关注的是家庭层面的间接或意外后果，如离婚风险和健康结果的变化。在我们将样本扩大到35000户之后，我们才开始研究流动人口留下的村庄的溢出效应(如工资、食品价格或非流动人口劳动力市场结果的变化)。当该项目扩大到15万人时(在城市中可能会有明显的影响)，我们观察了城市的溢出效应。在每个阶段，我们的目标都是严格地检查在这个规模下可能出现的复杂性。

第五，扩大方法以跟踪福利的所有影响。我的团队知道，大规模的移民会给村子带来收入，而这可能会提高食物和其他商品的价格。跟踪价格和工资需要一个实验设计，我们改变了接受交通补贴的村民的比例。其他福利影响的数量较少:家庭分离的成本或生活在城市贫民窟的不适无法通过RCT中的标准经济测量直接估值。我们不得不借鉴邻近领域的方法，比如宏观经济学。由于家庭分离的危害无法直接观察到，我们用数学模型建立了负效用(一个捕捉有害或不利影响的经济学术语)的概念，并通过将模型校准到实验数据来推断其大小。

成长的烦恼

促进移民以缓解季节性饥饿的做法看起来仍然是明智的，即使在追踪更广泛成本和收益的所有这些层面的研究之后。然而，当方案通过小额贷款机构转向大规模执行时，组织激励的变化证明是致命的弱点。当这种干预措施诱导新的人口迁移时，它就起作用了——但当它补贴的是无论如何都会发生的迁移时，它就不起作用了。

我们所调查的复杂性并不是这种干预所独有的。例如，如果许多熟练工人竞争有限数量的空缺，职业培训方案的好处可能无法扩大。提高农业生产力的大型项目可能会降低农作物价格。生产力的提高可能导致农民扩大他们的农田，导致土地转换和森林砍伐。这种意想不到的后果比比皆是。然而，由于宏观经济乘数的影响，规模效应可能比试点更有前景。在宏观经济乘数中，一个变化影响了许多因素:流动人口寄回家乡的钱意味着更多的学生可以进入资金更好的学校，店主有更多的顾客，这些收益超出了参与的家庭。扩大规模有时比预期更容易实现:科学家在将疫苗接种计划扩大到偏远人群时可能会遇到更少的阻力，因为犹豫不决和错误信息往往使说服居住在城市的社交媒体用户接种疫苗变得困难。

通常情况下，研究人员倾向于在试验成功后宣布胜利，并跳到“实施阶段”，假设试验结果将保持不变。但是，如果我们真正关心一个扩大的项目是否能改善生活，我们就必须继续提出问题，分析只在规模上出现的问题。

2019冠状病毒病在非洲的两年:给世界的教训

当我提倡对规模进行评估时，人们经常回应说，这是在浪费时间:任何拯救生命的项目都应该尽可能快地扩大。但执行这样的评估并不一定要拖延;事实上，更广泛的实施往往是大规模生成证据的先决条件。作为奖励，实现组织可以使用这种试验来迭代和改进被测试的程序。尽管如此，没有明显的利益相关方——全球组织、政府或慈善团体——要求对知情缩放进行研究。

或许，基于证据的规模化的最大障碍是制度上的。一旦一个群体围绕一个特定的目标凝聚起来，一个组织就形成了，动力和根深蒂固的假设就很难改变方向。如果在放大过程中没有内置收集证据的过程，那就尤其如此。是的，收集数据和扩大问题可能会推翻令人满意的试验结果，这是有风险的。讨论需要评估的内容可能会削弱对项目的支持，因为慈善家和政策制定者更感兴趣的是“有把握的赌注”，而不是评估不确定性和风险，以及做好这一点的复杂性。

这种对不确定性的厌恶会使人们倾向于支持更简单的公共卫生项目，比如防治儿童寄生虫的驱虫运动，对这些项目来说，发生意外后果的可能性较小。但满足于简单可能意味着错过更有潜力的更有雄心的创新。

做规模研究是很困难的。它需要多年的计划和多地点的试验，还要聚集不同的研究人员，使用各种分析工具从多个角度研究问题、干预措施和结果，并综合证据来判断干预措施是否应该以及如何发展。

尽管存在这些不利因素，但规模化如今已成为科学探索的一个新兴领域。在公共卫生领域，它被称为“实施科学”;医学区分了实验室中的“疗效试验”和现场中的“有效性试验”。在社会科学领域，位于剑桥的麻省理工学院的Abdul Latif Jameel贫困行动实验室成立了一个“从证据到政策”的团队，以促进有效试点的扩大，伊利诺斯州的芝加哥大学出版了书籍，作为成功扩大的工具包。

支持扩大有希望的创新的努力是必要的，但还不够:现在是时候将调查复杂性和测试试验规模证据可信度的做法制度化了。如果分析的严谨性能提高方案大规模成功的可能性，这可能是一种建设性的做法。

是的，会有失望和幻灭。然而，总的来说，这将提升有效的想法，改善数百万人，甚至数十亿人的生活。