【前方视野】防止“机器帮手”变成“机器杀手”：致命自主武器带来的巨大挑战
这些机器可以自主选择目标并发起攻击这一景象自然而然会使人感到不寒而栗：机器人杀手程序出错了怎么办？它被植入了恶意软件怎么办？对机器人杀手犯下的罪行，谁应当承担责任，是部署者、设计者，还是制造者？人类会不会失去对机器人杀手的控制而反遭其害？当恐怖分子掌握这些致命自主武器之后，又会发生什么情形？在国家之间的战争中使用这些武器，还存在交战规则吗？在今天的节目当中，就让我们来探讨一下致命自主武器系统在人道主义、法律、安全、技术和伦理方面对人类社会提出的巨大挑战。
（音响）
今年3月和5月联合国接连举办了多场与致命自主武器有关的会议，其中包括专家会议、政府间非正式磋商，以及由学术界和非政府组织参加的讨论。
（音响）
秘书长古特雷斯在给政府间非正式磋商发表的视频致词中，明确的表达了联合国对致命自主武器的立场。他说：“机器拥有不受人类控制的权力和自由裁量权来夺走人类的生命，这在政治上是不可接受的，在道德上是令人憎恶的，应该受到国际法的禁止“。
目前对于什么是致命自主武器，还没有国际商定的定义。我们暂且借鉴红十字国际委员会的定义。根据这个定义，致命自主武器系统是指启动后无需人工干预就能选择和打击一个或多个目标的武器系统。
安全风险大增
（音响）
利物浦约翰摩尔斯大学国际法与人工智能技术教授汤普森·陈盖塔指出，“像致命自主武器系统这样的技术发展，将让人们更容易发动战争。这些系统一旦被启动，便具备自主搜索、选择目标并进行打击的能力。它们可以在没有人类进一步干预或控制的情况下，掌握生杀予夺的大权”。
的确，致命自主武器系统降低了使用武力的门槛，可能使冲突的频率和强度增大，将使用国的军事伤亡风险降低，但却可以造成更加严重的人道主义危机；致命自主武器系统也可能成为军备竞赛的目标；还可能配备大规模毁灭性武器或核武器，增加核战争的风险；恐怖团体一旦掌握了致命自主武器系统，后果更是不堪设想……
伦理困境
2023年12月，联合国大会通过一项决议，请秘书长就致命自主武器系统问题广泛征求意见。
许多国家对致命自主武器系统的伦理挑战表达了关切。一些国家认为，伦理和道德是关于致命自主武器系统讨论的根本；以人为攻击目标，特别是授予机器做出剥夺人生命的决定本身就是有悖伦理的。
（音响）
联合国裁军事务高级代表中满泉指出，“让机器来决定是否夺取人的生命，在道德上是极其令人反感的。这种行为不应被允许，事实上，应当被国际法明令禁止。这正是联合国的立场。因此，尤其是将“自主性”用于无人机，是一个值得高度关注的问题”。
人权源于所有人与生俱来的尊严，但使用致命自主武器系统可能造成人的尊严丧失和非人化——也就是说，人不再被当作人来对待。毕竟，机器缺乏人类所特有的同理心、同情心和道德推理能力。
技术挑战
人工智能技术仍在起步阶段，致命自主武器系统运用这些技术自然会存在一系列技术风险，比如说，恶意网络活动、硬件和软件异常和故障、基于不正确信息或没有正确解读的信息做出决策。
（音响）
“人权观察组织”危机、冲突与军备事务副主任玛丽·沃勒姆指出，“技术并不完美，它会犯错。在日常生活的民用技术中我们或许能容忍这些错误，但在战场上，一个错误就可能意味着生与死的差别。机器很容易误判目标，我们特别担心致命自主武器系统利用传感器技术来锁定人类。人工智能仍然存在缺陷。可我们已经开始将其应用到武器系统中。当AI尚未真正稳定运行，而且还带有开发者自身偏见的情况下使用它，可能会给人类带来灾难性后果”。
致命自主武器系统带有的算法偏见可能会加剧现有的力量不平衡，对边缘群体的影响尤其大，特别是妇女和儿童。
法律难题
从法律的角度来讲，致命自主武器系统更是带来了前所未有的挑战，道理很简单，法律是用来规范人的行为的，而机器，不是人。
首先，人们不禁会问：致命自主武器系统在发起攻击的过程中能够遵守基本的法律，包括战争法和人道法吗？
（音响）
利物浦约翰摩尔斯大学教授陈盖塔指出，“根据国际人道法，只有当目标人员直接参与敌对行动或属于国家武装部队时，才允许对其实施打击。而我想说的是，即便如此，你也可能恰恰打错目标。那么问题是，自主武器系统真的有能力依法识别出正当的攻击对象吗？”
此外，对于自主武器犯下的罪行，谁来负责呢？
（音响）
陈盖塔教授指出：“最终你甚至无法判断是谁最初部署了这些系统。即便你知道它们来自哪里，我们可能也只会看到一个犯罪行为，却没有可以去追责的人。你会问：‘是谁对我干的这件事？’有人可能会回答：‘其实没有人，是机器干的。’”
人的控制
（音响）
对于问责，联合国裁军事务高级代表中满泉指出，“在使用武力，尤其是致命武力的问题上，国际法律框架是建立在人类责任基础上的。你不能让机器、人工智能或算法承担责任。我们确实有现行的国际人道法，这些法律不只适用于特定类型的武器——无论你使用何种武器系统，第一准则就是保护平民和非战斗人员，这是我们必须坚持并进一步强化的。我们必须确保这些法律被充分落实”。
在向联合国提交的意见中，有的国家认为，致命自主武器系统的设计不得阻止承担责任或接受问责。
还有的国家强调了指挥责任的重要性；根据指挥责任，指挥官对其指挥下发生的所有使用武力行为负责，而不论指令是由人类下属执行还是由机器执行。
出于这方面的关切，一些国家强调，在自主武器系统的整个生命周期，特别是在使用期间，必须保持人的控制或参与。
迫切需要国际规则
机器杀手已经不再是天方夜谭。在当前俄罗斯与乌克兰的战争中，无人机便被频繁使用。根据联合国乌克兰问题国际独立调查委员会的一份报告，从2024年7月到今年5月底的10个月中，俄罗斯向乌克兰的克尔松地区和其他16个地点多次发动大规模的无人机袭击，而且以平民为攻击目标，共造成150多人死亡，构成了战争罪。
（音响）
“人权观察组织”的沃勒姆指出，“必须制定明确的国际新规则来规范致命自主武器系统，为世界提供一个处理这些问题的框架，因为将来这些问题将不可避免地出现。目前，并不存在一个国际框架来规范致命自主武器系统，而我们迫切需要它，不是几十年后，而是未来几年内就需要”。
从2014年开始，联合国开始大力推动通过国际法来规范致命自主武器问题。除了通过联大决议广泛征求意见之外，还召集了会员国的非正式磋商。
同时，许多国家认为，可以在《特定常规武器公约》框架内，谈判一项附加议定书，来规范致命自主武器。公约的缔约国在2023年成立了一个政府专家组专门讨论这一问题。
（音响）
秘书长古特雷斯再次呼吁到2026年就致命自主武器系统问题达成一项具有法律约束力的文书。他强调，在这个问题上能够采取预防行动的时间已经所剩不多。
（音响）
裁军事务高级代表中满泉也指出，“如果不加以监管、不设限，那自主武器系统最终将成为一个关乎人类存亡的问题。我们目前仍处于将人工智能应用于武器系统的初始阶段。正因为如此，相关讨论和谈判必须紧迫进行，在这些系统真正成为首选武器之前采取行动。我们必须确保预防这类对人类极不确定的影响发生”。
感谢您收听这一期的《前方视野》，我是黄莉玲。我们下次节目再会。