查找:                      转第 显示法宝之窗 隐藏相关资料 下载下载 收藏收藏 打印打印 转发转发 小字 小字 大字 大字
【期刊名称】 《红十字国际评论》
论自主机器人战争的可避免性
【作者】 诺埃尔·夏基(著)廖凡(译)
【作者单位】 英国谢菲尔德大学中国社会科学院国际法研究所
【分类】 国际法学
【中文关键词】 自主机器人战争;武装自主机器人;杀戮自主权;人工智能;国际人道法
【期刊年份】 2012年【期号】 2(第886期)
【页码】 226
【摘要】

本文呼吁,禁止自由行走机器人自主确定杀戮目标。我将首先指出关于武装自主机器人的三个主要国际人道法/道德问题,进而讨论为避免这些问题而需破除的主要障碍,即对机器人系统和人工智能局限性的误解。这种误解部分缘自科幻小说的虚构描述,但真正的危险在于军事研究人员和其他人在描述机器人及其能做的事时所使用的语言。我将分析军方在讨论机器人时所使用的一些拟人化方法,进而提供一个机器人学个案研究,其间使用的语言刻意模糊了国际人道法问题。最后我将分析一些现行法律文件存在的问题,并就如何实现禁止提出建议。

【全文】法宝引证码CLI.A.1200456    
  我们可能正在进入战争工业化的最后阶段,走向一个死亡和清洁杀戮的工厂,高科技国家在这里进行着对其本国军队毫无风险的战争。我们已经看到无人驾驶飞机的应用呈指数级增长,不仅是在伊拉克和阿富汗冲突中,还被美国中央情报局在战区以外的国家(巴基斯坦、也门、索马里和菲律宾)用于定点清除和特征打击。目前已有50多个国家已经拥有或者正在开发军用机器人技术。[1]
  目前使用的所有武装机器人都由人来控制其飞行和动用致命武力,但这一点很快就会改变。过去十年中,所有美国军队的计划和路线图都清楚地表明了开发和应用自主战地机器人的愿望和意图。针对空中、地面和水下交通工具,都早已开始实施这些将人类逐出控制系统的计划。而且美国并非唯一着眼于发展自主机器人的国家,中国、俄罗斯、以色列和英国都在有样学样。终极目标是一个覆盖地面、海洋和空中的机器人网络,它们将会共同自主作战,发现目标并予以摧毁,而无须人类的干预。[2]
  自主杀戮机器人存在的国际人道法和道德问题
  一个主要的国际人道法问题是,武装自主机器人系统无法分辨战斗员和非战斗员,或者其他享有豁免权的主体——例如服务人员、退休人员以及满足区分原则的受伤、已投降或者患有精神疾病的战斗员。有些系统具有微弱的分辨能力。例如,以色列的“哈比”是一种四处游荡、探测雷达信号的装置。当发现有雷达时,它会查阅数据库,看其是否属于友方;如果不是,就投弹轰炸。但这种分辨与区分原则所要求的分辨有所不同,因为,哈比无法分辨雷达是设在防空站还是学校屋顶上。
  机器人缺乏确保遵守区分原则所必需的三种主要特质。
  首先,它们没有足够的感官或视觉处理系统,无法区分战斗员和平民(尤其是在叛乱战争中),或者认出受伤或投降的战斗员。机器人所能拥有的只是传感器,例如,摄像头、红外传感器、声呐装置、激光器、温度传感器和雷达等。这些装置也许能够告诉我们某个物体是人,但除此之外就不能告诉我们什么了。实验室里有些系统能够识别静止的脸,它们最终也许能够在有限的场合用于确定个体目标。但它们对于处在战争迷雾中或者从空中观察到的移动目标能有多大用处呢?英国十几岁的年轻人光靠穿上带帽夹克就骗过了监控摄像头。
  其次,计算机可以运算任何能够用编程语言写下来的程序。这就像写一个编织图案或者菜谱。我们还需要足够详细地写明每一个要素,以便计算机据以运行。区分原则所面临的问题是,我们对于平民并没有可以转换成计算机代码的充分定义。我们无法从战争法中找到这么一个定义,为一台机器提供必要的信息。1949年《日内瓦公约》规定利用常识判断,而1977年《第一附加议定书》实质上是以否定方式将平民定义为不是战斗员的人。[3]
  最后,即便机器有足够的感觉机制来发现平民和穿着制服的军人之间的区别,它们也仍然缺乏战场意识和常识推理来帮助作出区分决定。未来五十年内,我们也许能够在某些严格受限的场合让机器人拥有一些有限的感觉和视觉区分能力。但我认为,有着足够常识推理和战场意识的、与人类水平一样的识别能力,恐怕是难以通过计算方式达到的。[4]目前,我们还不能寄希望于机器拥有独立功能,像人类士兵一样基于区分原则而作战。[5]在这方面没有相反的证据或者研究成果。
  另一个国际人道法问题是,机器人没有情境意识或能力,无法作出比例性决定。有机器人专家称,机器人能够比人类更好地计算比例性。[6]
  然而,这仅仅涉及简单的比例性问题,即通过选择最适当的武器或弹药并指向适当的方向,将附带伤亡最小化。美国军队已经为此目的使用一种叫作bugsplat的软件。问题在于,该软件只能减小附带影响。例如,如果要在一所有200名儿童的当地学校附近使用武器,若使用适当的软件可能结果是:如果换用另一种炸弹,将只导致50名儿童死亡,而非全部。
  复杂的比例性问题在于,在特定场合首先要决定是否动用致命或动能武力。平民牺牲预期军事利益之间的关系如何平衡?某个特定的动力攻击是会促进军事目标,还是会因为使当地居民失望而妨碍军事目标?问题清单是无穷无尽的。对于直接军事利益而言什么是成比例的,这是人类主观的定性决定。这种决定必须由负责任并可以问责的人类指挥官作出,只有他们才能基于经验和情境意识来权衡不同的选择方案。如果机器出错,那它真的会出人类永远不会出的大错。
  有一句话广为人知:战争是一门艺术,而不是科学。或者像空军飞行员戴维?沙利文上校(他在从科索沃到阿富汗的传统空袭和无人机空袭方面都有丰富经验)告诉《发现》杂志的那样:“如果让我对搞机器人学和人工智能的人说点什么,我会问:‘他们如何设计软件来处理直觉或者第六感?’战斗可不是非黑即白的。”[7]小词儿都挺能整
  安德森和韦克斯曼反对禁用自主杀戮机器人武器,声称一些顶尖机器人学家已经开始创造运算法则来容纳区分原则和比例性原则这两个基本原则。但他们只提到一位机器人学家:“最为雄心勃勃的努力之一来自机器人学家罗纳德?阿金,他在其《规制致命行为》一文中描述了他在区分和比例性方面的工作。”[8]但这是错误的。因为尽管这位机器人学家讨论了这两项原则,但他没有对其中任何一项进行研究。他只是说有朝一日机器可以解决这些问题。
  他们所提及的文献实际上只是建议研制一种计算机软件系统来对机器人“行为”进行道德规制。[9]这就是那种被称为“后端系统”的东西,其运作完全有赖于其他人在未来某个时候“将会开发出来”的系统所提供的信息。它不能通过感应器或者视觉系统直接接触真实世界,无法区分战斗员和非战斗员、婴儿和伤兵,或者一个坐轮椅的老奶奶和一辆坦克。它没有推理工具,肯定不具备作出区分或者比例性决定所需的常识推理和战场意识。没有办法解释战争法规范如何适用于特定情境,也没有办法解决新情势下相互冲突的法律所造成的模棱两可。
  第三个问题是问责性。[10]机器人没有道德或不道德的能力,因此不能要求其为其行为负责。再者,如果在有限的场合使用自主机器人,相信其能够基于区分原则行事,那么就将难以确定究竟应该由谁来对意外事故负责。一些人会说,下令将机器人送去执行任务的指挥官应当负责(最后联系点)。但那是不公平的,因为还可能是设计任务程序的人、制造机器人的人或者决定部署机器人的高级参谋或者决策者的错。或者还有可能是因为设备被动了手脚或者受到损坏。安德森和韦克斯曼当即反驳了围绕问责性的反对意见:
  “在战争中,事后的司法问责只是促进和强制实现对战争法之遵守的诸多机制之一。一味将个人刑事责任作为假定的问责机制,这种做法有阻碍机器系统发展之虞,而这些系统如果获得成功,可以减少对战场上或者战场附近平民的伤害。”[11]
  但我不同意。在没有明确的问责链条的情况下使用武器,不是一个合乎道德的选择。没有问责机制的情况下强制守法,只会危及更多平民的生命。
  基于这三个问题,我将在此论证,道德上正确的做法是禁止机器人自主确定杀戮目标。在分析法律文件存在的问题之前,我将首先分析禁止开发武装自主机器人所面临的主要障碍。自主杀戮机器人的拥趸所提出的一个观点是,存在技术性“解决方案”,可以使这些机器人在战场上的行为比士兵更有道德、更为人道。我将在此论证,这种说法更多的是与用来描述机器人的辞令有关,而不是机器人实际能做的事情。
  拟人论与理想化的人工智能
  有关人工智能和机器人学的普遍观念已经被人工智能的文化性神话所扭曲,造成这种情况的部分原因在于科幻小说、媒体报道以及深陷神话之中或者努力寻求公众认可的机器人技术专家。机器人被描写成有感知能力的机器,可以比人类更好地思考和行动,能够感觉到情绪和欲望。这是利用了我们的天然倾向,即把人或动物的特性和精神状态赋予像动物一样移动的无生命物体(拟人化或拟动物化)。[12]我们都容易产生这样的倾向,这也正是自古以来木偶就如此吸引人的原因所在。
  人工智能的神话使得以拟人化方式描述机器人的做法被人接受,乃至成为习惯。新闻工作者沉迷其中,并且知道读者喜欢这个。但我们不能只责怪媒体。这是一种让人情不自禁的叙述方式,就连一些机器人学家也在无意之中为神话添油加醋。同其他文化性神话一样,它作为实验室里的随意交谈并无大碍。但涉及有关允许机器使用致命武力的法律和政治性讨论时,它就成了一条危险之路。
  即使就遥控机器人而言,拟人论在军队里也大有市场。据《华盛顿邮报》报道,在战场上使用清除炸弹机器人的士兵往往将其视为同胞,有时甘冒生命危险去营救它们。他们在空闲时甚至带它们去钓鱼,让它们用钳子握着钓鱼竿。[13]20世纪90年代中期,机器人学家马克?蒂尔登在亚利桑那尤马导弹试验场测试他的“推销员”多足虫排雷机器人。机器人每发现一个地雷就会踩上去,然后被炸掉一条腿。目睹机器人的腿被一条条炸掉,一位美国上校最终下令停止测试,因为他觉得这样做不人道。[14]
  拟人论的影响可以一直延伸到最高层。五角大楼联合部队司令部前负责人戈登?约翰逊对《纽约时报》说:“……机器人不会饥饿,不会害怕,不会忘记命令。它们不在乎身边的人是否刚刚被射杀。”[15]这番话其实也可以用来描述地雷或者我的洗衣机,但如果约翰逊说的是这些设备,那听起来就会很荒谬。约翰逊虽然没有直说,但他的话透着拟人论的味道。
  与此相似,马钱特等人说机器人“可以被设计得没有情感,不让情感蒙蔽它们的判断或者令它们对战场上发生的事情感到愤怒和沮丧”。[16]这话也透着拟人论的味道,因为它暗示说,如果没有特殊设计,机器人就会有情感来蒙蔽它们的判断。而这显然是错误的。关于机器人士兵的神话甚至影响到了法律圈,导致出现“机器人士兵的法律和道德”这样的文章标题。[17]
  对一厢情愿记忆法的个案研究
  在其颇有影响的论文《当人工智能遇上自然愚蠢》中,[18]耶鲁大学人工智能学教授德鲁?麦克德莫特表达了他的担忧,即那些使用诸如“理解”之类的自然语言来描述其程序的某些方面的研究人员,最终会使人工智能这个学科失去信誉。这些用语描述的是研究人员的愿望,而不是程序实际上能做的事情。麦克德莫特将这类愿望性的用语称为“一厢情愿记忆法”,认为研究人员使用它们“会误导很多人,最突出的是他们自己”,亦即研究人员会误以为该程序拥有“理解”这一特质。麦克德莫特建议,应当使用诸如“G0034”这样的名称,然后看其他人是否确信该程序执行了“理解”功能。
  罗纳德?阿金关于开发拥有人造良知的机器人的文章为我们提供了一个很好的个案,让我们看到“一厢情愿记忆法”以及对机器人和情感的拟人化认知会带来什么结果。他说“我确信它们(自主战场机器人)能够比人类士兵更有道德地行事”。[19]注意,他不是说人类能够以更有道德的方式使用机器人。相反,他把我们引入了神话性修辞,即机器人自己将会更有道德地行事。这将导致错误的结论,即机器人在战斗中能够像人类一样进行道德推理。一旦有了这个前提,一系列错误推论就将随之而来,并对未来关于如何在平民区域部署武装机器人的军事计划产生影响。
  该作者还声称:
  “我正在为美国陆军做的一项研究课题就是,机器人不仅在某些情况下能够比士兵更好地作战,还可以在战场上比人类更人道。”[20]
  但关于机器人可以在战场上比人类更人道的说法无疑是对机器所作的古怪定性。人类可以人道地使用技术,但说一个无生命物体是人道的就毫无意义了。人道是人类独一无二的特性。这种说法暗示机器人可以表达仁慈、宽恕或怜悯,或者具有人文主义价值观(下文将更详细地讨论机器人的怜悯)。机器人可以比人类更人道这一论断会

  ······

法宝用户,请登录三年不开张,开张吃三年后查看全部内容。
还不是用户?点击单篇购买;单位用户可在线填写“申请试用表”申请试用或直接致电400-810-8266成为法宝付费用户。
【注释】                                                                                                     
©北大法宝:(www.pkulaw.cn)专业提供法律信息、法学知识和法律软件领域各类解决方案。北大法宝为您提供丰富的参考资料,正式引用法规条文时请与标准文本核对
欢迎查看所有产品和服务。法宝快讯:如何快速找到您需要的检索结果?    法宝V5有何新特色?
扫码阅读
本篇【法宝引证码CLI.A.1200456      关注法宝动态:  

法宝联想
【相似文献】

热门视频更多