人工智能武器:俄罗斯在乌克兰的战争表明了为什么世界必须颁布禁令gydF4y2Ba

自俄罗斯入侵乌克兰一年以来，一场人工智能(AI)武器的军备竞赛正在乌克兰的土地上上演。当勇敢的乌克兰军队使用改装的商用四轴飞行器向俄罗斯士兵投掷手榴弹时，西方观众欢呼雀跃。当残暴的俄罗斯军队派遣大量廉价的伊朗巡航导弹摧毁医院、发电厂和公寓楼时，他们发出嘘声。但这种简单的“我们对他们”的叙述掩盖了一个令人不安的趋势——武器正变得越来越智能。gydF4y2Ba

很快，全自动致命武器系统将在冲突中变得司空见惯。有些已经上市了。幸运的是，在写这篇文章的时候，这种武器很少真正用于战争，在乌克兰也没有使用过。然而，不断演变的事件令人担忧。gydF4y2Ba

使用电子对抗远程操作武器的必然逻辑正在推动双方提高这些武器的自主水平。这正把我们推向一个危险的世界，在这个世界里，致命的自主武器系统是造成大规模伤亡的廉价和广泛可用的工具——在每个武器超市都能找到大规模杀伤性武器，出售给任何独裁者、军阀或恐怖分子。gydF4y2Ba

尽管很难讨论禁止可能有助于乌克兰事业的武器，但现在迫切需要世界各国政府这样做，并限制人工智能在战争中的使用。没有人希望看到机器人威胁的暗淡未来。gydF4y2Ba

首先，各国政府至少需要就一项禁止杀伤自主武器的条约展开认真的谈判。人工智能和机器人领域的专业协会应制定并执行行为准则，禁止致命性自主武器的研发工作。全世界的人都应该明白，让算法决定杀死人类是一个可怕的想法。gydF4y2Ba

压力导致完全自治gydF4y2Ba

“致命自主武器系统”到底是什么?根据联合国的说法，它们是“在没有人类监督的情况下定位、选择和打击人类目标的武器”。在这个定义中，“engage”一词是“kill”的委婉说法。我说的不是由人类远程操作的武器，比如美国的“捕食者”(Predator)无人机或乌克兰自制的榴弹投掷器，因为这些武器不是自动的。我说的也不是反导弹防御系统，也不是俄罗斯和乌克兰都在使用的用于侦察的全自动无人机，这些无人机并不致命。我并不是在谈论《终结者》(Terminator)电影中描绘的科幻机器人——由天网软件系统的恐怖涌现意识控制，由对人类的仇恨驱动——媒体在讨论自主武器时经常会想到这些机器人。这里的问题不是流氓机器接管世界，而是人类部署的武器将大大降低我们的人身安全。gydF4y2Ba

目前的人工智能系统具备所有必需的能力——规划任务、导航、3D地图、识别目标、在城市和建筑物间飞行以及协调攻击。许多平台都是可用的。这些包括:四轴飞行器大小从几厘米到几米不等;固定翼飞机(从业余爱好大小的包裹递送飞机和全尺寸的、携带导弹的无人机到“可自主”的超音速战斗机，如BAE系统公司的塔拉尼斯);自动驾驶卡车和坦克;自主快艇、驱逐舰和潜艇;甚至是骨骼类人机器人。gydF4y2Ba

在俄乌冲突中，通往完全自主的道路始于已经投入使用的各种半自动武器。例如，俄罗斯正在部署“智能”巡航导弹，打击行政大楼和能源设施等预定义目标。这些武器包括伊朗的沙赫德导弹(Shahed)，乌克兰人因其声音而将其戏称为“轻便摩托车”(mopeds)，这种导弹可以沿着河流低空飞行，以避免被发现，并在等待指令时在某个区域盘旋。这些攻击的关键是使用大量导弹来压倒防空系统，同时使用最小的无线电连接来避免被发现。我曾听到报道称，新型沙希德装备了红外探测器，使其能够锁定附近的热源，而不需要通过无线电与控制器进行目标更新通信——如果属实，这将是朝着完全自主的方向迈出的重要一步。gydF4y2Ba

自战争初期以来，乌克兰就部署了土耳其的Bayraktar远程控制武器来对付坦克和其他目标。随着时间的推移，俄罗斯防空系统和干扰系统的改进使这些武器变得更加脆弱和无效;此外，它们每个的成本约为500万美元(比shahed贵250倍)。商用遥控四轴飞行器已被改装为投掷手榴弹，已被证明在小规模战术行动中有效，远程驾驶的船只已被用于攻击海军目标。但是，随着干扰系统成为常态，远程操作变得更加困难，自主武器越来越有吸引力。gydF4y2Ba

ChatGPT:研究的五个重点gydF4y2Ba

在其他地方，致命的自主武器已经销售了好几年。例如，自2017年以来，土耳其一家国有制造商(STM)一直在销售Kargu无人机，这种无人机有餐盘大小，携带1公斤炸药。根据该公司2019年的网站(后来淡化了)，无人机能够“自主和精确地”打击车辆和人员，“根据图像选择目标”，并通过“跟踪移动目标”(见gydF4y2Bago.nature.com/3ktq6bbgydF4y2Ba)．据联合国报道，尽管有严格的武器禁运，利比亚民族团结政府在2020年使用Kargu无人机自主“追捕”撤退的部队gydF4y2Ba^1gydF4y2Ba．gydF4y2Ba

其他“游荡”形式的导弹，如沙赫德(Shahed)，也表现出一种自主形式。以色列的“哈比”无人机可以在一个地区上空飞行数小时，寻找与视觉或雷达特征相匹配的目标，然后用23公斤的爆炸物有效载荷摧毁它们。(俄罗斯在乌克兰广泛使用的“柳叶刀”导弹也有类似的特点。)Kargu和Harpy是“神风特攻队”武器，而中国紫燕河豚A3是一种自主直升机，装备有一门机枪和几枚非制导重力炸弹。所有这些系统都被描述为具有自主和远程操作模式，因此很难知道任何给定的攻击是否是由人类操作人员实施的。gydF4y2Ba

好处和问题gydF4y2Ba

为什么军队要追求可以自行决定是否要杀死人类的机器?像遥控武器一样，自动飞机、坦克和潜艇可以执行对人类来说无异于自杀的任务。它们比载人飞机更便宜，速度更快，机动性更强，航程更远;能承受更高gydF4y2BaggydF4y2Ba-飞行力;在没有生命维持系统的情况下也能在水下工作。但是，与远程操作武器不同的是，自主武器即使在电子通信因干扰而无法进行的情况下也能发挥作用，而且反应速度比任何由人类远程控制的武器都要快。人工智能专家李开复等人将自主武器描述为继火药和核武器之后的“第三次战争革命”gydF4y2Ba^2gydF4y2Ba．gydF4y2Ba

一个常见的支持论点是，通过自主武器发动战争将保护军人的生命，就像遥控武器和巡航导弹一样。但这是一个谬论。另一方也会有这样的武器——正如我们在乌克兰看到的那样，士兵和平民的死亡人数都令人震惊。gydF4y2Ba

另一个经常被提及的观点是，与其他战争模式相比，致命自主武器区分平民和战斗人员的能力可能会减少附带伤害。美国和俄罗斯一直以这种所谓的好处为理由，阻止了在瑞士日内瓦举行的《特定常规武器公约》(CCW)的多边谈判——自2014年以来，谈判断断续续地举行。gydF4y2Ba

该案件基于两项指控。首先，人工智能系统比人类更不可能犯错——这是一个令人怀疑的命题，尽管它最终可能成为现实。其次，自动武器将被用于与步枪、坦克和捕食者无人机等人类控制的武器基本相同的场景。这显然是错误的。如果自主武器被不同的各方以不同的目标和不那么明确的背景(如叛乱、镇压、内战和恐怖主义)更频繁地使用，那么在区分平民和士兵方面的任何假定优势都是无关紧要的。出于这个原因，我认为强调武器在区分平民和战斗人员方面的优越性，这源于2013年的一份联合国报告gydF4y2Ba^3.gydF4y2Ba指出错误识别的风险，已经被误导了。gydF4y2Ba

开发致命的自主武器不是好主意的原因还有很多。最大的，就像我写的gydF4y2Ba自然gydF4y2Ba2015年gydF4y2Ba^4gydF4y2Ba他说:“人们可以预期，数以百万计的平台将被部署，其灵活性和杀伤力将使人类完全失去防御能力。”我和未来生命研究所(Future of Life Institute)一起发布了一个2017年YouTube上主张军备控制的视频，其中的原因可以在视频中得到说明gydF4y2Bago.nature.com/4ju4zj2gydF4y2Ba)．它展示了“屠宰机器人”——一群廉价的微型无人机使用人工智能和面部识别来暗杀政治对手。由于不需要人工监督，一个人就可以发射几乎无限数量的武器，消灭整个人口。武器专家一致认为杀伤人员蜂群应该被归类为大规模杀伤性武器(见gydF4y2Bago.nature.com/3yqjx9hgydF4y2Ba)．由于这个原因，人工智能领域几乎一致反对自主武器。gydF4y2Ba

此外，人工智能系统可能会遭到黑客攻击，或者发生事故，导致冲突升级或战争门槛降低。如果由机器人来决定生死，人类的生命将会贬值，这引发了道德和正义方面的担忧。2019年3月，联合国秘书长António古特雷斯在日内瓦向自主武器谈判代表总结了这一案例:“在没有人类参与的情况下，拥有夺取生命的力量和自由裁量权的机器在政治上是不可接受的，在道德上是令人厌恶的，应该被国际法禁止。gydF4y2Bago.nature.com/3yn6pqtgydF4y2Ba)．然而，除了国际人道主义法之外，仍然没有任何规则禁止制造和销售致命的自主大规模毁灭性武器。gydF4y2Ba

政治行动停滞不前gydF4y2Ba

不幸的是，政治没有跟上技术进步的步伐。数十个人权和军备控制组织加入了“阻止杀手机器人运动”，呼吁禁止致命的自主武器。尽管民意调查显示广泛的公众支持这样的禁令(超过60%的成年人;比如，gydF4y2Bago.nature.com/416myefgydF4y2Ba)．数千名人工智能领域的研究人员和领导者，包括我在内，都加入了这些呼吁(见gydF4y2Bago.nature.com/4gqmfm5gydF4y2Ba)，但到目前为止，由于担心讨论非纯科学的问题，还没有一个学术团体制定了关于自主武器的政策。gydF4y2Ba

停止新兴的人工智能冷战gydF4y2Ba

《常规武器公约》下的谈判进展甚微的一个原因是对技术问题的混淆，无论是真实的还是虚假的。各国仍在无休止地争论“自治”一词的含义。例如，可笑的是，德国宣称一种武器只有在具有“学习和发展自我意识的能力”时才具有自主能力。表面上支持禁止自主武器的中国表示，一旦武器能够自主区分平民和士兵，它们就不再被视为自主武器，因此不会被禁止。英国承诺永远不会开发或使用致命的自主武器，但它不断重新定义这些武器，因此它的承诺实际上毫无意义。例如，英国国防部在2011年写道，“现在可能可以实现一定程度的自主操作”，但在2017年表示，“自主系统能够理解更高层次的意图”。时任美国国防大臣迈克尔•法伦(Michael Fallon)在2016年写道，“完全自主的系统尚不存在，而且即使存在，在许多年内也不太可能出现”，并得出结论称，“现在禁止我们根本无法定义的东西还为时过早”(见gydF4y2Bago.nature.com/3xrztn6gydF4y2Ba)．gydF4y2Ba

日内瓦会议不太可能很快取得进一步进展。美国和俄罗斯拒绝就具有法律约束力的协议进行谈判。美国担心条约将无法核实，导致其他缔约国规避禁令，造成战略意外的风险。俄罗斯现在反对因为入侵乌克兰而受到歧视。gydF4y2Ba

务实的前进道路gydF4y2Ba

美国和其他国家与其阻碍谈判，不如专注于制定切实可行的措施，建立各方遵守协议的信心。这些可能包括检查协议、阻碍向完全自主转变的设计限制、要求工业供应商检查客户诚意的规则，等等。讨论一个人工智能版的禁止化学武器组织(Organization for the Prohibition of Chemical Weapons)的职权范围是有意义的，该组织为执行《禁止化学武器公约》制定了类似的技术措施。这些措施既没有使化学工业负担过重，也没有限制化学研究。同样，美国和俄罗斯之间的新削减战略武器条约允许每年对核武器设施进行18次现场检查。如果不是各方科学家共同努力，建立了监测秘密违反行为的国际监测系统，《全面禁止核试验条约》可能永远不会产生。gydF4y2Ba

尽管日内瓦陷入僵局，但仍有一线希望。在那些已经表明立场的国家中，gydF4y2Ba绝大多数人赞成禁令gydF4y2Ba．谈判可能会在没有国家拥有否决权的纽约联合国大会(UN General Assembly)和部长级会议上取得进展。上周，荷兰政府在海牙举办了一场关于“军事领域负责任的人工智能”的会议，会上提出了引入这类武器是否道德的问题。在会议期间，美国宣布了一项关于人工智能军事用途的原则和最佳实践的“政治宣言”，并敦促其他国家签署这些原则和最佳实践gydF4y2Bago.nature.com/3xsj779gydF4y2Ba)．也许最重要的声明是:“各国应保持对所有行动的人力控制和参与，这些行动对通报和执行有关使用核武器的主权决定至关重要。”包括中国在内的60多个国家已经加入了该宣言。不幸的是，它不具有约束力，也不排除任何类别的自主武器。gydF4y2Ba

2月23日至24日，哥斯达黎加将主办一次关于“自主武器的社会和人道主义影响”的拉丁美洲和加勒比国家会议，其中包括来自非国家行为体的威胁，他们可能会不分青红皂白地使用这些武器。正是这些国家组织了第一个无核武器区，使人们有希望它们也可以发起一项宣布无自主武器区的条约。gydF4y2Ba

下一个步骤gydF4y2Ba

在我看来——我怀疑地球上的大多数人也是如此——最好的解决办法就是禁止致命的自主武器，也许可以通过联合国大会发起的一个进程。另一种可能是由一组专家提出的折衷措施(见gydF4y2Bago.nature.com/3jugzxygydF4y2Ba)，并由红十字国际委员会正式向国际社会提出(见gydF4y2Bago.nature.com/3k3tpangydF4y2Ba，将禁止杀伤自主武器。就像1868年的《圣彼得堡宣言》(St Petersburg Declaration)禁止使用重量低于400克的爆炸武器一样，这样一项条约可以对武器的大小和有效载荷设定更低的限制，从而不可能部署大量具有大规模杀伤性武器功能的小型装置。gydF4y2Ba

人工智能伦理gydF4y2Ba

各国不应阻碍日内瓦会议取得进展，而应与科学界合作，制定技术和法律措施，使自动武器禁令能够得到核查和执行。技术问题包括以下内容。应使用哪些物理参数来确定允许武器的下限?什么是“前驱”平台(可以扩展到完全自主)，它们的生产和销售应该如何管理?是否应该使用设计约束，例如要求“召回”信号?发射电路能否从物理上与机载计算分离，以防止人类驾驶的武器轻易地转化为自主武器?能够设计出可验证的协议来防止自治系统之间的敌对行动意外升级吗?gydF4y2Ba

在民用方面，人工智能和机器人的专业协会(包括国际机器人协会)gydF4y2Ba人工智能发展协会gydF4y2Ba,gydF4y2Ba计算机协会gydF4y2Ba和gydF4y2Ba美国电气和电子工程师学会gydF4y2Ba)应该制定并执行禁止致命自主武器工作的行为准则。这方面有很多先例:例如，美国化学学会有严格的化学武器政策(参见《美国化学学会》)gydF4y2Bago.nature.com/3yn8ajtgydF4y2Ba)和美国物理学会要求美国批准《全面禁止核试验条约》(见《全面禁止核试验条约》)gydF4y2Bago.nature.com/3jrajvrgydF4y2Ba)，反对对无核国家使用核武器(见gydF4y2Bago.nature.com/3k4akq8gydF4y2Ba)，并倡导强有力的核查科学与技术研究计划，以促进和平与安全(见gydF4y2Bago.nature.com/3hzjkkvgydF4y2Ba)．gydF4y2Ba

随着俄罗斯在乌克兰战争的展开，自主武器技术的飞速发展(以及使用它的愿望)，世界不能再承受一个十年的外交姿态和混乱。政府需要实现一个看似简单的要求:为公民提供一些保护，让他们免受机器人的追杀。gydF4y2Ba