木板上名称文本。

信贷:盖蒂

多样性的研究在学术出版到经常在科学文献。但是数据是从哪里来的呢?

出版物通常不包括人口数据,如性别、种族和民族的作者;使用算法研究人员归咎于他们的人的名字:“莫莉”可能是一个女人,“杰夫”可能是一个人,等等。在学术界之外,这些算法被广泛使用,在网上论坛和学习骚扰推断政治捐赠者的人口为例。

但是这些算法真的做些什么呢?和它们的可靠性如何?我们深入了解这种技术及其局限性的一篇文章中,我们发表在四月自然的人类行为1。

在一个叫什么名字?

Demographic-inference算法使用数据在种族、民族、性别和名称,例如,人口普查数据,猜测其他人群的特点——在这种情况下,作者的学术论文。有时,这些预测是错误的。作为个人,我们可以纠正,向彼此道歉我们犯错误的时候,但是算法的大规模和相对距离标签可以修复错误,甚至意识到它们的存在,甚至更加困难。

基于名称的归责工具也限制,因为人们的生活的许多重要方面——如类,残疾,性取向,年龄和家庭特征——无法推断出名字。的世界,大数据价值不成比例,和这些工具是最便宜的方式来补充大数据来源与人口统计信息,信息中往往缺乏这些方面的研究。此外,一些工具的可用性变量(例如,性别和种族)而不是其他人,形状研究问题我们想象我们可以问,什么主题和子组仍然没有得到充分的研究。

作为社会学家研究的学术生产,我们进行了一项调查要求社会科学文章的作者自我报告的人口统计信息。有近20000的反应,我们有一个理想的数据集来深入这些推理技术。作者回答质疑他们的性别,种族和种族,国籍,性别,残疾,父母的教育和更多。通过比较自我性别和种族和民族数据和推断的数据,我们分析错误是如何分布在团体——也就是说,misrecognized是谁,谁不是。

结果是惊人的。我们发现女性misgendered 3.5倍是男性;43%的中国妇女是misgendered;和80%的黑人种族分类错误的和受过高等教育的父母。尽管在算法性能各不相同,我们的分析表明,这些工具一般不执行等同于在人口亚种群,由于不可避免的文化和语言过程,生成名称和社会群体之间的联系,他们永远不会懂的。

此外,生理性别和性别比算法名称允许更复杂2。算法的归责通常假定只有两个性别。这不仅消除一些身份,但它还介绍了测量误差之间的性别和研究的现实。不认同的人的经历性别二元也有助于我们更好地理解3我们的社会性别如何功能结构。同样,那些不确定只有一个种族或民族类别说明对这些群体的社会假设。

所以你会做什么呢?

有几个简单,实用的东西,用户性别、种族和ethnicity-prediction算法可以做这些不准确的危害降到最低。一个是“关键的拒绝”。问问自己是否推断性别、种族和民族的他人经验有效,理论上合理的和道德的对你的研究项目。仅仅因为一个方便的技术存在,并不意味着你应该使用它。替代品等调查,尊重同意,允许更多不同类别和可以通过自我认同直接测量感兴趣的结构。

推理工具时最精确的手工与特定人口和用例。例如,那些专注于一个特定区域在印尼可能知道一个人的名字可以可靠地信号宗教,允许这样的人员结构4和评估一个算法执行在这种情况下,即使它可能不会工作在世界的其他地方。

或者,你可以测试现有工具看到哪些执行特定子集的人口。例如,尽管基于名称的算法不能很好区分我们种族分类,他们相当可靠的区分“英国起源”和“东亚”的名字。谨慎的研究人员,因此,可以选择重点分析这些群体5。同样,在斯高帕斯,爱思唯尔的文摘和引文数据库作者的化学论文的27%,但只有5%的公共卫生和卫生服务作者——模糊性别认同的算法。因此,在决定这些学科之间,研究人员可能会选择的公共卫生和卫生服务作者进一步分析,考虑到算法区分性别更容易在这个数据库的子集。

更普遍的是,算法设计者应该发布信息子群和cross-population性能来帮助用户更好地理解这些工具的有效性和可靠性。如果供应商的大型数据集要继续包括估算人口,他们需要考虑这些因素,并提供信息子组的错误率。例如,尽管我们研究的算法预测个体的性别为一组同样高的信心,这些预测仍经常错误的女性比男性。

最后,算法用户和设计者应该考虑专注于总数量而不是单个的预测。总的来说,一些错误会消掉了,和原始的人口比例,如77%的Leslies是女性,可以使用,避免离散化引入的错误(例如,“这个Leslie贴上一个女人”)。

通过避免个人预测,研究人员可以避开的危险将身份的人。,他们可以尝试纠正认识偏差。例如,我们发现一个算法misgenders女性比男性以更高的速度意味着它比存在于男性人口报告。有了这些信息,我们可以相应地调整算法的预测。但是请注意,知道多少,在什么方向调整估计需要人民误认比较数据对模型的预测。

问更好的问题

然而,这并不是都是坏消息。我们的研究结果也表明令人兴奋的机会,新的研究问题的底层社会过程和机制。举个例子,一个工具,试图预测种族和民族的名字是代表穷人的身份但好代理别人会认为当他们读一个名字。换句话说,这种技术不能可靠地告诉我们如果有人是黑色的,但是它可以告诉我们在多大程度上某人的名字听起来黑别人。在发布和招聘等情况下,基于名称的歧视似乎是合理的,这些工具可能会提供一个更好的衡量歧视性的机制比自我认同。

另外,研究人员可以使用这些工具来理解人们如何创造生命的意义6。例如,这一组的成员选择名称和版本的名称为自己或自己的孩子这个群体独特的吗?类、地点、时间、政治、种族、宗教和更多的人们如何孩子名字的所有因素;gender-ambiguous名称,这些因素影响人的移民群体保留的名字从他们的原产国,从他们的主流文化和采用组名称。

算法工具提供一个窗口到这些文化和行政流程和开放的未来研究方向。在自己的工作中,我们发现一些有趣的经验模式,值得进一步探索。例如,为什么残疾人gender-ambiguous或gender-incongruent名称通常没有残疾的人吗?为什么黑人孩子父母受过高等教育的独特的黑人名字比同龄人少了,而印度父母受过高等教育的孩子更有独特的印度名字吗?

这些发现提出了警示的潜在滥用技术的重要性只会增加使用大数据迅速地扩散开来。与此同时,这些工具充满了创意的可能性学者感兴趣的丰富多彩的社会过程的命名和组标识。小心使用它们。