【作者】Simon Chesterma

【内容提要】

从伦理到法律：为何、何时以及如何监管人工智能

SimonChesterman（陈西文）

新加坡国立大学DavidMarshall讲席教授、副校长（教务创新）、新加坡国立大学学院（NUS College）创院院长，主要研究领域为人工智能法律和政策、数据保护和隐私、国际法、国际组织和全球治理等。

大约一个世纪前，科幻小说作家艾萨克·阿西莫夫（Isaac Asimov，1942）设想了一个未来：机器人成为日常生活中不可或缺的一部分。后来他回忆说（1982，第9－10页），当时大多数机器人故事都可以归为两种类型。第一种是“机器人威胁”类型：这类科技创新故事遵循《弗兰肯斯坦》的传统，即机器人奋起反抗它们的创造者，但其渊源至少可以追溯到希腊神话里的普罗米修斯，这正是玛丽·雪莱（Mary Shelley）1818年小说的副标题。第二种类型是不太常见的“机器人悲情”故事，即这些可爱的创造物被残忍的人类主人当作奴隶对待。这些故事构成了道德寓言，警示的并非人类创造物带来威胁，而是人类自身制造了危险。

阿西莫夫的贡献在于开创了第三种类型：将机器人看作是工程师制造的工业产品。在这个科幻世界里，道德中立的机器人以三条操作指令或定律的形式内置了一种安全装置。第一条定律是，机器人不得伤害人类，也不得坐视人类受到伤害。第二，机器人必须服从人类下达的命令，除非该命令与第一条定律相冲突。第三，机器人必须保护自身的存在，除非这与第一条定律或第二条定律相冲突。

这三条定律是监管新技术文献中的一个常见主题，但就像图灵测试一样，它们更多是一种文化试金石，而不是严肃的科学提案（Anderson，2008）。此外，这些定律假设只需要处理具有人类智能水平的实体机器人，这其实是“机器人谬误”（android fallacy）的一个示例。更有人批评到，这三条定律将责任强加于技术本身而不是创造技术的人（Balkin，2017）。此处值得一提的是，阿西莫夫提出的定律并非国家强制执行的“法律”。确切地说，这些定律被编码进了他虚构的创造物的正电子大脑中：是限定机器人能做什么，而不是规定它们应该做什么。

更重要的是，就目前而言，认为相关伦理原则可以精简成短短几十字，或者认为这些文字能够以某种人工智能系统可以解读的方式进行编码的想法，误解了伦理和法律的本质。尽管如此，2007年有报道称，韩国曾考虑将这些定律作为拟议的“机器人伦理宪章”的基础。这是自21世纪初以来为规范机器人或人工智能而进行的诸多尝试之一；在2004年意大利圣雷莫举行首届机器人伦理国际研讨会之后，此类尝试加快了步伐。2006年，欧洲机器人研究网络制定了《机器人伦理路线图》；2010年，在一次由两个英国研究协会举办的“机器人务虚会”上，第一套跨学科的机器人原则获得通过。

特别地，自2016年以来，聚焦人工智能的指南、框架和原则大量涌现。其中一些是各类会议或行业组织的成果，譬如《人工智能合作伙伴十条原则》（2016）、未来生命研究所的《阿西洛马人工智能原则》（2017）、北京人工智能研究院的《北京人工智能原则》（2019），以及电气与电子工程师协会（IEEE）的《伦理一致性设计》（2019）。其他一些则是由个别公司起草，包括微软的《负责任的人工智能原则》、IBM的《信任与透明度原则》和谷歌的《人工智能原则》，这些原则均在2018年上半年发布。

在推行管理人工智能的法律方面，各国政府进展缓慢。不过，若干国家已经制定了相对宽松的规范，包括新加坡的《人工智能治理示范框架》（2019）、澳大利亚的《人工智慧伦理原则》（2019）、中国的《人工智能治理原则》（2019）和新西兰的《算法宪章》（2020）。在政府间层面，七国集团（G7）通过了《沙勒瓦伊人工智能未来共同愿景》（2018），经合组织（OECD）发布了《人工智能理事会建议书》（2019），欧盟发布了《可信赖人工智能伦理准则》（2019），该准则是2021年推行的《人工智能法案》草案的前身。联合国系统的各个部门也通过了相关文件，其中最突出的是教科文组织的《人工智能伦理建议书》（2021）。甚至连教皇也在《罗马人工智能伦理呼吁》（2020）中支持了一系列原则。

这些文件最引人注目的是，对于应该管控人工智能的规范，人们已经形成重叠的共识（Fjeld et al.，2020；Hagendorff，2020；Jobin et al.，2019）。尽管措辞和重点或有不同，但自2018年以来撰写的所有这类文件几乎都包含了以下六个主题的变体：

1. 人类控制：人工智能应该增强而不是降低人类的潜力，并保持在人类的控制之下。

2. 透明度：人工智能系统应该能够被理解，它们的决定应该能够被解释。

3. 安全性：人工智能系统应按预期运行，并能抵御黑客攻击。

4.可问责：尽管通常没有明确规定，但呼吁可问责或负责任的人工智能，就假定或意味着当人工智能造成伤害时，应提供补救措施。

5. 非歧视：人工智能系统应具有包容性和“公平性”，避免出现不当的偏见。

6. 隐私：鉴于人工智能很大程度依赖于对数据（包括个人数据）的获取，隐私或个人数据保护通常被强调为一项需要保障的特定权利。

其他概念还包括，开发和部署人工智能系统的相关人员需要具备专业责任感，人工智能需要促进人类价值观或者是“有益的”（Luciano et al.，2018，第696－697页）。从这种笼统的层面来看，这些概念相当于呼吁坚守一般的伦理道德，尤其是遵从人类控制原则。一些文件呼吁要以可持续的方式开发人工智能，公平分配其带来的收益，不过这些内容更适用于探讨人工智能的部署方式，而非它应该或不应该具有何种能力。

上述六项原则似乎都没有争议。然而，尽管人们投入了大量时间和精力召开研讨会和务虚会以起草各种文件，但关于这些原则在实践中的意义以及如何执行，相应的研究还比较少。这一点有时也得到明确的承认和回应，理由是这些文件旨在适用于尚不可知的技术，并解决尚未预见的问题。

另一个问题揭示了更具启发性的答案，即这些原则是否确有必要。对可问责、非歧视和隐私的呼吁，本质上等同于要求那些制造或使用人工智能系统的人遵守大多数司法辖区已经制定的法律。安全性要求让人想到产品责任的问题，此外还涉及采取合理的网络安全防范措施。透明度本身并不是伦理原则，而是理解和评估行为的先决条件（Turilli and Floridi，2009）。然而，这些再加上人类控制原则，有可能会对人工智能系统开发构成某种潜在限制，并超出现有法律的范畴。

本文不准备再行增加层出不穷的原则，而是将焦点移离监管人工智能需要哪些新规则的问题，继而探讨三个问题：为什么需要监管；何时改变监管结构（包括规则）；如何将这一切付诸实施。

监管，还是不监管？

理论上，政府监管各类活动是为了解决市场失灵问题，或者支持社会政策或其他政策。在实践中，政客考虑到他们与行业的关系和政治利益，可能会不按原则行动或者不行动（Baldwin et al.，2011，第15－24页）。尽管大型科技公司与政府之间的麻烦关系有据可查（Alfonsi，2019），但本节将假设监管机构是善意的，并概述与其选择相关的因素。

在人工智能系统的背景下，对市场实行监管的理由包括：解决技术生产者和消费者之间的信息不足问题，以及保护第三方免受外部性的影响，外部性是指部署人工智能可能带来的危害。以自动驾驶汽车为例，大家看到，责任已经从驾驶员转移到了制造商，后者可能有义务维持足够的保险水平。这为依据现有产品责任法，对其他一些人工智能系统，尤其是更普遍的运输工具（包括无人机）和医疗设备造成的损害追究民事责任提供了样板（Mondello，2022）。

然而，监管并非仅仅是为了促进市场发展。它还可以捍卫权利或推动社会政策的实施，在某些情况下，这会产生额外成本（Prosser，2006）。这些理由表明了了限制人工智能的道德论据。以偏见为例，种族或性别歧视应当被禁止，即便从其他某些衡量标准来看这种歧视是“有效率的”。同样，人工智能系统不得在武装冲突中做出杀戮决定的禁令也不能随便用人工智能系统比人类更能遵守武装冲突法，因此它将带来更好的结果这种功利主义理由来辩驳。相反，这项禁令源于一种判定，即道德要求一个人为这类选择承担责任（Chesterman，2020）。

限制将职能外包给人工智能还有其他一些原因，比如在公共决策方面，其合法性既取决于决策结果，也取决于决策过程。人们认为，即使人工智能系统能够做出优于政治家和法官的决断，但影响个人权利和义务的政府职能还是应该由可以通过政治或宪法机制问责的官员来承担。

管控人工智能还有一个程序性理由。例如，透明度是有效监管的必要前提。虽然它并非万能良方，且会带来额外成本，但是，只有在最低透明度和决策可解释性的要求下，监督和问责方可能实现。

尽管如此，倘若监管某个领域会抑制创新、施加不必要的负担，或者以其他方式扭曲市场，政府也可能有充分理由不予监管（Auld et al.，2022；Ugur，2013年）。不同的政治群体会对这些因素进行不同的权衡，但有趣的是，人工智能监管似乎与很多司法辖区采用的数据保护法相一致。例如，美国基本上遵循了以市场导向的方法，在50个州进行相对宽松的行业监管和试验。数据保护方面也是如此，虽然缺乏一般性的联邦法律，但特定的利益群体和部门，如儿童隐私或金融机构受到法规的制约。至于人工智能，美国国家科学技术委员会反对广泛监管人工智能研究或实践。如果监管措施可能增加合规成本或减缓创新，委员会就会呼吁在不损害安全或市场公平的前提下放松监管（Preparing for the Future of AI，2016，第17页）。

在欧盟颁布《通用数据保护条例》（GDPR）六个月后，推进上述立场的文件最终定稿，其中赋予了涵盖数据保护和数据自动处理的广泛新权力。多年来，欧盟的做法始终以人权优先为特点，二战后隐私权被确立为一项权利，为1995年的《数据保护指令》和后来的《通用数据保护条例》奠定了基础。人权也是欧盟考虑人工智能时的一个重要主题（《欧盟人工智能白皮书》，2020，第10页），不过，偶尔会有人抱怨这削弱了欧洲大陆的竞争力（Justo‑Hanani，2022；Pehrsson，2016）。

中国则再次提供了不同的模式：政府扮演有力的角色，同时对市场或人权关注相对较少。与数据保护一样，其中一个主要驱动力是主权问题。在数据保护方面，这体现为呼吁数据本地化，中国再次提供了不同的模式，让国家发挥强有力的作用。例如，数据本地化强调了确保国家能够适当访问数据的重要性。（Chander and  Lê，2015；Liu，2020；Selby，2017）。至于人工智能，中国在2006年将它确定为一个重要发展目标，又于2016年将它列入国家优先发展事项。次年国务院发布的《新一代人工智能发展规划》强调市场的作用，但也设定了2025年的目标，即中国要在人工智能研究方面取得重大突破，实现“世界领先”的应用；并于同年预测将“初步建立人工智能法律法规”（《国务院关于印发新一代人工智能发展规划的通知》，2017）。

许多人都对中国缺乏监管的状况感到疑惑，还通常认为它对个人数据相对宽松的监管给人工智能领域带来了巨大优势（Roberts et al.，2021）。然而，中国在2021年和2022年通过的法律纳入了与欧盟和国际组织秉持原则密切相符的规范（Hine and Floridi，2022；Yang & Yao，2022）。更一般地说，这些关于未来监管的规划表明，对于新兴技术，真正的根本问题并非是否要进行监管，而是何时进行监管。

科林里奇困境

1980年，英国伯明翰阿斯顿大学的大卫·科林里奇（David Collingridge，1980，第19页）著文指出，任何试图控制新技术的努力都面临着一个两难困境。在早期阶段，虽然可以进行控制，但人们对技术可能带来的有害社会后果知之甚少，不足以成为减缓其发展的理由。然而等到这些后果显而易见时，控制已经变得代价高昂且举步维艰。

气候紧急状态（climate emergency）提供了一个适时例证。在汽车广泛使用之前，1906年，英国的皇家汽车委员会研究了在该国道路上行驶的这些新机器的潜在风险；其中最主要的风险被认为是车辆行驶时扬起的灰尘（Royal Commission on Motor Cars，1906）。今天，交通运输产生的二氧化碳约占所有能源相关二氧化碳排放量的四分之一，而且其持续增长可能会使其他所有减排措施的成效付诸东流。尽管新冠疫情对2020年和2021年的排放产生了显著影响，但旨在减少这些排放的监管举措始终面临经济和政治阻碍（Liu et al.，2019）。

许多应对技术创新的努力都聚焦于科林里奇困境的第一个方面：预测和避免损害。这也是本文开头讨论的大多数原则采用的方法。除了举办会议和研讨会之外，人们还设立了研究机构以评估人工智能的风险，其中一些机构对通用人工智能带来的威胁发出了启示性警告。如果通用人工智能真的对人类生存构成威胁，这或许可以成为禁止相关研究的正当理由，就像限制生化武器一样。然而，没有哪个主要的司法辖区实施这类禁令，原因要么是这种威胁似乎并不直接，要么是担心禁令只会促使相关研究转移到其他地方。例如，当2001年美国对干细胞研究施加限制后，其主要结果之一就是美国的研究人员在该领域落后于国际同行（Murugan，2009）。另一个挑战是，如果监管针对的是短期威胁，则技术创新的速度可能会使监管陷入“道高一尺魔高一丈”的窘境。技术变化可以是指数级的，而社会、经济和法律制度往往是渐进变化的（Downes，2009，第2页）。出于这些原因，本文开头讨论的原则旨在面向未来和保持技术中立。这样做的好处是，尽管有可能过于模糊，无法在具体情况下提供有意义的指导，但覆盖范围足够广泛，能够适应不断变化的情况。

科林里奇本人主张（第23－43页），与其尝试预测风险，不如为解决困境的第二个方面奠定基础：确保有关技术的决策具有灵活性或可逆性。这同样是说易行难，有人将之描述为“亡羊补牢”问题，即在事情发生之后才试图补救。下面两节将探讨两种关于监管时机的方法，它们也许能为解决或缓解科林里奇困境开辟路径：预防原则和巧妙的不作为。

预防为主

人们对不确定性的自然反应是谨而慎之。预防原则认为，如果一项活动的后果可能很严重，但又存在科学不确定性，那么应该采取预防措施，或干脆不要开展这项活动（Aven，2011）。这一原则在许多有关环境的国内法中都有体现，并在大多数涉及该主题的国际文件里发挥了关键作用。例如，1992年《里约环境与发展宣言》指出：“如果有可能出现重大或不可逆转的损害，则不应以缺乏充分的科学确定性为由，推迟采取具有成本效益的措施防止环境退化”（Rio Declaration，1992）。在某些情况下，实施该原则相当于颠倒了举证责任：声称某项活动是安全的人必须证明该活动确实是安全的（Le Moli et al.，2017）。

批评者认为，这一原则要么含糊不清，要么缺乏连贯性，甚或两者兼而有之。对该原则弱解释等同于一个常识，因为鲜少有人会认为采取预防措施需要科学上的确定性；而对该原则的强解释容易弄巧成拙，因为预防措施本身也可能产生有害影响（Boyer-Kassem，2017）。在一篇厚如一本书的长文中，卡斯·桑斯坦（Cass Sunstein，2005，第109 - 115页）谴责该原则具有“欧洲性”，他概述了恐惧心理如何以可预见的非理性方式在审议民主制社会产生影响，尤其提到了高估损失的心理现象，以及过激的舆论。但即便如此，大多数人依然认为，至少在风险实际发生或者能被量化之前，就应该采取预防措施。

在人工智能的情境中，预防原则经常被应用于自动驾驶车辆（Smith，2016，第572页）、致命性自动武器（Bhuta and  Pantazopoulos，2016，第290－294页）、司法系统中个人数据处理算法的使用（《欧洲人工智能使用伦理宪章》，2018，第56页），以及通用人工智能攻击人类创造者的可能性（Maas，2018）等。然而，只有最后一种情况是对这项原则的适当应用，因为在这种情况下，风险的性质和发生概率的确是不确定的。譬如，自动驾驶车辆的确切故障率可能是未知数，但其危害众所周知，且可以与人类驾驶员构成的现有威胁进行权衡。至于致命性自动武器，反对者明确拒绝进行成本效益分析，只是主张在涉及人类生命的决策方面划定鲜明的道德界限。尽管关于人类应该对人工智能施加何种适度的控制一直争论不断，但“风险”本身是无可争议的。同样，人们对于将公共部门决策外包给机器持谨慎态度，并非仅仅基于由此产生的后果具有不确定性。相反，这类谨慎态度与如下观点有关，即公共部门决策应当由人类在政治问责制的框架内做出。

然而如前文所述，值得注意的是，尽管通用人工智能存在风险，但迄今为止，尚未出现协调一致的行动来限制这个领域的纯理论研究或应用研究。更有效的做法是呼吁关注科林里奇困境的第二个方面：要求纳入“终止开关”之类的措施，或者努力让未来的超级智能与人类自身保持一致的价值观。这些可以看作是优先考虑人类控制原则的应用。如果通往通用人工智能的道路变得更加清晰，这些措施就应该成为强制性的要求。

巧妙的不作为

对不确定性的另一种应对方式是不作为。克制行动或许是恰当的办法，可以避免制定先发制人的规则从而扭曲市场，或者设立冗长的裁决程序以致延缓市场的演变。用来描述这种做法的一个术语是巧妙的不作为”。这一术语起源于19世纪英国对阿富汗的政策，意为在面对不理想的选择时采取一种审慎的克制态度（Adye，1878；Roy，2015，第69页）。（需要指出的是，英国对阿富汗的介入以惨败告终。）

对于人工智能来说，这相当于一种“观望”对策。然而，被动地任由事态发展不同于积极监测并与新生市场及其参与者互动。例证之一是，政府参与人工智能的发展过程，促成了本文开头所述的原则；鼓励行业协会制定标准并开展针对治理可能性的研究也是其中一例（Auld et al.，2022）。

不作为也有可能沦为推卸责任。即使政府选择不进行监管，也会做出具有法律后果的决策：最显著的是普通法传统下的法官，他们的裁决具有制定法律的功能。这些裁决已经影响了诸多领域的规范，从计算机程序之间的合同、判决中算法的使用，到人工智能创造的知识产权归属权等。如果由于具体案件进入法庭的种种偶然因素导致法律朝着无益的方向发展，这可能就会带来问题。不作为也仅限于事后适用法律原则，也就是说，如像英国下议院科学技术委员会警告的，“当不幸的事情已经发生时”才适用（Robotics and Artificial Intelligence ,Fifth Report of Session 2016-2017，2016）。因此，巧妙的不作为本身并非一种策略。不过如果运用得当，它或许能为制定策略争取时间。

监管方法

监管是一个备受争议的概念，它包含的不只是单纯的“规则”。一篇权威文章（Baldwin et al.，2011，第3页）区分了三种不同的监管模式，这些模式对考虑可用的监管选项很有帮助。首先，监管可能意味着一套特定的命令，即由专门负责此项事务的机构施行的具有约束力的义务。其次，它可以指代更广泛的国家影响力，包括财政和其他激励措施。最后，更广泛的是，监管有时会用来表示所有形式的社会或经济劝诫手段，包括市场力量。“智能监管”的概念不仅适用于国家机构履行的监管职能，也适用于专业协会、标准制定机构和倡导团体。在大多数情况下，相比于单一监管机构的狭隘关注，多种工具和一系列监管机构共同发挥作用将能产生更好的效果（Guihot et al.，2017；Gunninghamand Grabosky，1998）。而且，这些不同的监管模式可以相互作用、彼此影响。例如，一个行业可能会投入资源进行自我监管，因为担心不这样做的话会导致政府采取更强制性的监管手段。

监管并非仅限于约束或禁止不良行为；它还可以促进积极的活动，即“绿灯”式而不是“红灯”式监管（Harlow and Rawlings，2009，第1—48页）。例如，“响应式监管”主张建立更具合作性的关系，鼓励受监管方遵守法律的目标，而不是仅仅依循规则行事（Ayresand Braithwaite，1992）。其他方法则强调效率。譬如，基于风险和以问题为中心的监管方法寻求优先处理最重要的问题；不过，未来风险和当前问题的识别、选择和优先顺序，既涉及不确定性，也涉及规范性和政治性选择（Baldwin and Black，2016）。

监管机构可用的工具同样可分为三类：传统的规则制定、法院或法庭的裁决，以及非正式指导，包括标准、解释性指南以及与监管活动相关的公开和私人沟通。吴修铭（Tim Wu，2011）曾颇具争议地建议，对于正在经历快速变化的行业，监管机构应考虑通过发出“威胁”，即非正式地要求相关方遵守规定，同时暗示可能会进行正规化和强制实施，从而将第三类工具与前两类联系起来。

许多关于人工智能监管的讨论都会列举可用的选项（比如浮动比例、金字塔模式、工具箱模式等等），但这些应用往往要么过于笼统，要么过于具体。显然，将一种监管方法应用于所有受人工智能影响的活动并不合适。然而，为每一项活动制定专门的法律也是不切实际的。好在，通过区分与人工智能相关的三类问题，或许可以在一定程度上明晰思路，这三类问题是：管理风险，禁止某些行为，以及确保遵循恰当的程序。

管理风险

民事责任提供了一种分配风险责任的手段，特别是在可以进行成本收益分析的领域。这将涵盖私人部门的大多数（甚或绝大多数）人工智能活动：从交通运输到医疗设备，从智能家居应用到认知增强和植入。这里的问题并非制定新规则，而是如何应用或调整现有规则，从而适应以空前速度运作、自主性不断增强且具有不同透明度的技术。为此，我们可能需要设定最低透明度要求，以确保人工智能系统能够被识别，有害行为能够合理地归责于人工智能系统的所有者、运营商或制造商。强制性保险或可更有效地分散这些风险，但基本原则应保持不变。

对于适用成本收益分析但难以确定潜在风险的那些情况，监管“沙盒”允许新技术在受控环境内进行测试。虽然一些司法辖区已经将此应用于实体技术，例如，为自动驾驶车辆指定区域，但这种方法尤其适合在线运行的人工智能系统。虚拟沙盒起源于计算机科学，它允许软件在错误或漏洞导致的潜在损害受到限制的情况下运行。尽管沙盒不同于瑞安·卡洛（Ryan Calo，2011）曾经主张的对机器人研究至关重要的豁免权，但它为测试创新产品提供了“安全空间”，且不会立即引发所有的常规监管后果。这种技术最常用于金融技术（或称“金融科技”）领域，它使创业者能够与真实客户一起测试其产品，减少监管约束，降低面临执法行动的风险，还能获得监管机构的持续指导（Fenwick et al.，2017，第591－593页；Zetzsche etal.，2017，第45页）。这一做法于2016年由英国首创，被认为让伦敦在金融科技领域占据了先发优势，此后，世界其他司法辖区纷纷效仿（Allen，2019，第580页）。

划定红线

然而，在某些情况下，需要划定“允许”和“不允许”的界限。对于某些情形，这些红线将不仅仅是简单地把现有规则应用于人工智能。与维持人类控制的伦理原则相关联，一道明显的候选红线就是禁止人工智能在使用致命武力方面做出决定。

不过，即便这种看似明确的禁令，在更仔细的推敲下也会变得模糊。如果机器能够在前期阶段做出所有选择：扫描和导航环境、识别和选定目标、提议攻击的角度和方式，那么最终的决定可能也只会由机器完成。在这种情况下，自动化偏见使得默认选择更容易被接受。这不是反对这项禁令的理由，而是支持如下观点：不仅要确保至少有人类处于决策环节之中或者能对决策环节进行监督，而且要确保人类明白自己必须对做出的决定承担责任。这是人类控制原则与责任原则之间的联系，也就是说，不是让人类保持控制权而让机器承担责任，而是人类（和其他法人）要继续对自身的行为负责，即使该行为是由机器或通过机器来实施。

欧盟的《人工智能法案》草案还寻求禁止人工智能的某些应用，特别是实时生物识别监控、操纵或利用个人的技术以及社会评分[AI Act (EU)，2021]。

需要制定新规则的一个具体领域涉及人类与人工智能系统的互动。然而，这里真正的挑战并非制定新法律来保护我们免受人工智能系统的侵害，而是保护它们免受我们人类的伤害。例如2017年初，新加坡通过了一些法律，规定干扰自动驾驶车辆试验属于违法行为。这些法律更适合被视作与此类技术相关的风险管理的延伸。更棘手的将是与人类针对机器而采取的行为相关的法律。譬如，当前，折磨黑猩猩是犯罪，但折磨电脑不是。随着社交机器人在养老、性工作等行业变得越来越普遍，或许有必要对可以创造什么样的机器人，以及如何使用、是否会滥用这些创造物进行规范。

例如，2014年罗纳德·阿金（RonaldArkin）提出，可以使用儿童性爱机器人来治疗恋童癖者，就像使用美沙酮治疗海洛因成瘾者一样，这引发了争议（Hill，2014）。尽管不同司法辖区对模拟色情制品的处理方式各异，[1]但如今很多地方已经通过对现行法律进行创造性解读或颁布新法律[比如美国的《限制电子性爱机器人法案》（CREEPER）]，禁止了这类设备的制造和使用（Danaher，2019）。

随着逼真的实体机器人变得越来越普遍，并在社会中日益发挥积极的作用，保护它们将成为必要，这不仅仅是为了降低故障风险，还因为伤害它们的行为本身可能会被视为一种罪恶。开始时，与之最接近的类比应该是反虐待动物法。可以说，这是机器人谬误的另一种体现，譬如，购买一个逼真的机器人然后将其点燃，会比删除它的操作系统更令人感到痛苦。然而，在未来，人工智能系统感知疼痛并理解自身不存在前景的能力可能会改变这种考量（Anshar  and Williams，2021；Ashrafian，2017）。

这就提出了一个问题，即关于可能带来自我意识或有时被认为会对人类生存构成威胁的超级人工智能研究，是否应该设定红线（Bostrom，2014）。尽管许多专家主张对通用人工智能的前景持谨慎态度，但几乎没有人呼吁停止该领域的研究；直到2023年3月，生命未来研究所（Future of Life Institution）发布了一封由埃隆·马斯克等人签署的公开信，呼吁暂停开发“比GPT－4更强大”的、以大型语言模型形式呈现的生成式人工智能，暂停期限6个月（Pause Giant AI Experiments：An Open Letter，2023）；这里的GPT－4指的是OpenAI开发的生成式预训练转换器（GPT）聊天机器人。这封信受到了广泛关注，但似乎不太可能真的导致研究暂停。值得注意的是，没有哪个政府实施过这种暂停举措，尽管意大利由于担心ChatGPT使用个人数据而确实禁止了它（Satariano，2023）；此外中国宣布限制类似的技术，如果它有可能扰乱社会和政治秩序（中国发布《生成式人工智能服务管理办法草案》，2023）。

正如博斯特罗姆和其他人警告的，有一个风险不容忽视，即试图遏制或阻碍通用人工智能的做法可能会引发它们原本想要避免的威胁。采取预防原则的方法或能阻止通用人工智能发展到具有强大威胁的地步。然而，通用人工智能似乎远远不及我们目前的能力，所以如果当下实施这类举措，那将是一种过激反应。无论如何，一个司法辖区实施的禁令在另一个司法辖区可能不具约束力。倘若没有国际条约，没有具备管理能力的相应机构，单方面的禁令终将是无效的（Chesterman，2021）。

外包限制

对外包给人工智能的决策施加限制，是一个既有必要制定新规则又可行的领域。一种方法是限制将人工智能用于固有的政府职能。不时有人呼吁禁止政府使用算法，这通常是在回应公共部门决策中实际或被察觉的失误。这类失误包括澳大利亚（Doran，2020）和荷兰（政府的欺诈算法SyRI违反人权和隐私法，2020）宣称能够识别福利欺诈的自动化程序丑闻，以及英国在新冠疫情期间发生的大学录取风波（Satariano，2020）。

其他司法辖区已经禁止公共机构使用特定应用程序，比如人脸识别程序。2019年，美国旧金山因禁止警察和其他机构使用人脸识别技术登上了新闻头条，美国多个城市以及加利福尼亚州效仿了这一举措，但没有推广到联邦层面。与数据保护的情况一样，美国政府迄今为止都未能颁布广泛适用的法规（尽管做过多次尝试）。欧洲最初主要将这个问题视为《通用数据保护条例》（GDPR）的应用来处理，随后又把禁止公共场所进行实时远程生物识别纳入了《人工智能法案》草案。而中国在人脸识别方面的限制要少得多，不过政府已经认识到需要提供更多的指导，而且至少出现过一起（未成功的）诉讼（Lee, 2020）。

完全禁止算法并无必要，尤其是因为任何关于算法的定义可能都会涵盖算术和其他不涉及自由裁量的基本运算功能。更重要的是，这种做法误判了问题所在。问题的关键不在于机器在做决策，而是人类在放弃对决策应负的责任。公共部门行使政府固有职能的决策之所以合法，不是因为这些决策一定正确，而是因为它们能够通过政治或其他程序被追究责任。

这些担忧引发了本文开头探讨的两项原则中的第一项：人类控制和透明度。关于对公共部的门人工智能进行监管，一种更现实且可推广的方法是，在公共部门决策过程中逐步强化有关人类控制和透明度的规定。加拿大的《行政决策透明度规定》（Directive on Automated Decision-Making，2019）就是早期的一个例子。新西兰的《算法宪章》也采用了类似方法[Algorithm Charter (NZ)，2020]。这一《算法宪章》由二十多个政府机构签署，其中包含一个矩阵，根据对“民众福祉”影响的概率和严重程度，从可选择执行变为强制执行。在诸多规定中，《宪章》的强制适用要求“人类监督”，包括公众质询的联系点、对决策提出申诉的途径，以及“清晰解释人类在基于算法的决策中发挥的作用”。《算法宪章》还包含了比可解释性概念更多的透明度规定，譬如要求用通俗易懂的英语记录算法的内容，并公布有关数据收集、保护和存储的信息。

这些举措很重要，但终究还是不够的。对于这类公共部门决策，并非像《算法宪章》所说的那样，并不仅仅是在利用算法的力量与维护公民的信任、信心之间达成“适当平衡”的问题。确认公众信任的职位由人类决策者担任，并经由民主程序问责他们的行为或不作为，由此可确保能够从法律（如决策违反法律的情况）和政治质疑。

欧盟的《人工智能法》草案是对这一领域进行监管的最雄心勃勃的尝试之一，在撰写本文时，这份草案仍备受争议。如文本所示，该草案采用了宽泛的人工智能定义，适用除军事领域之外的所有部门。草案旨在成为一部通用法律，提供适用所有应用场景（use-case）的基本规则，在敏感领域（如医疗部门）可能会有更严格的义务要求。它还根据风险指数对人工智能应用进行分类：低风险应用基本不受监管，至于中高风险应用，则会逐步提高其在投放市场前进行评估的要求。如前所述，某些应用程序将被完全禁止。

乐观主义者希望《人工智能法》能产生“布鲁塞尔效应”，并塑造全球人工智能政策，就像欧盟的《通用数据保护条例》（GDPR）影响了众多司法辖区的数据保护法那样（Siegmann andAnderljung，2022）。批评人士则强调，该法案的潜在适用范围太过广泛，涉及的技术五花八门，且其中一些关键禁令比较模糊，譬如推荐算法和社交媒体推送是否会被视为“具有操纵性”就语焉不详（(Veale & Zuiderveen Borgesius，2021）。另有人阐述了通用人工智能的风险和进行监管的必要性，以及前文讨论过的大型语言模型引发的种种担忧（Gebru et al.，2023）。

结论

如果阿西莫夫的三定律能够避免或解决机器智能方面的所有伦理困境，他的文学生涯恐怕就不会那么长久。事实上，在引入三定律的故事（Asimov，1942）中，一个机器人就因为第二定律和第三定律之间的冲突陷入了瘫痪；最终只有在人类让自身陷入险境继而触发第一定律之后，问题才得以解决。[2]

当机器人被迫在两害相权取其轻的情况下做抉择时，一条“不得伤害人类”的笼统规则显然是不够的。后来阿西莫夫自己又添加了一条“第零定律”，该定律规定机器人的最高职责是维护全人类的利益。在他的最后一部小说（1986年出版）里，一个机器人被问及如何判断什么是对整个人类有害的。机器人答道，“确实，先生。从理论上讲，第零定律是我们问题的答案。但在实践中，我们永远无法做出决定。”

人们常常夸大对应对人工智能的新规则的需求。例如瑞安·阿博特（Ryan Abbott，2020，第2－4页）认为，监管变革的指导原则应该是人工智能法律中立，这意味着法律决不应区别对待人类行为和人工智能行为。尽管这一原则看似简单直接，但其全部影响很快就被放弃了：人们并不追求人工智能系统具备人格，也不把人工智能的标准（即阿博特书中所称的“理性机器人”）应用于人类行为。实际上，阿博特的论文归根结底是对人工智能活动的不同领域进行个案分析，以确定特定领域是否需要做出改变。

这是一种相当明智的方法，但还需要一些普遍适用的新规则，主要是为了确保能够实现本文开头提及的前两项原则：人类控制和透明度。人类控制要求对可开发的人工智能系统类型施加限制。预防原则为思考这些风险提供了一种思路，不过，在致命性自动化武器这类道德清晰的案例中，显然可以做出最明确的决策。公共部门需要更细致的限制措施，在这个领域，限制公职人员将决策外包给人工智能系统的权限（ability）比约束人工智能系统的行为更重要。至于透明度问题，政府官员的可问责还要求限制不透明程序的使用。除此之外，影响评估（impact assessment）、审计和设立人工智能监察员等措施可以减轻部分危害，有助于确保其他问题可追溯并归责于可被问责的法人（legal person）。

随着人工智能日益复杂和普及，以及与人工智能系统相关的危害变得越发常见，对人工智能施加限制的需求将会增加。本文试图将讨论从抽象思考哪些规则可以约束或控制人工智能的行为，转向更实际的挑战，即监管机构为何、何时以及如何选择从伦理层面转向法律层面的监管。这些法律的具体性质会因司法辖区的不同而有所差异。唯一可以肯定的是，相关法律的数量很可能不止三条。

（颜超凡 译）

参考文献

Abbott, R. (2020). The Reasonable Robot: Artificial Intelligence and the Law. Cambridge UniversityPress.

Adye, M.-G. J. (1878, 18October). England, Russia, and Afghanistan. The Times.

Alfonsi, C. (2019).Taming Tech Giants Requires Fixing the Revolving Door. Kennedy School Review,19, 166.

Algorithm Charter forAotearoa New Zealand. (2020).https://data.govt.nz/use-data/data-ethics/government-algorithm-transparency-and-accountability/algorithm-charter

Allen, H. J. (2019).Regulatory Sandboxes. George Washington Law Review, 87, 579.

Anderson, S. L. (2008).Asimov’s ‘‘Three Laws of Robotics’’ and Machine Metaethics. AI& Society, 22, 477.

Anshar, M., &Williams, M.-A. (2021). Simplified Pain Matrix Method for Artificial PainActivation Embedded into Robot Framework. International Journal of SocialRobotics, 13(10), 187.

Ashrafian, H. (2017).Can Artificial Intelligences Suffer from Mental Illness? A Philosophical Matterto Consider. Science and Engineering Ethics, 23, 403.

Asimov, I. (1942,March). “Runaround”,in Astounding Science Fiction, 94.

Asimov, I. (1982). The Complete Robot.Doubleday.

Asimov, I. (1986). Foundationand Earth.Doubleday.

Auld, G., Casovan, A.,Clarke, A., & Faveri, B. (2022). Governing AI Through Ethical Standards:Learning from the Experiences of Other Private Governance Initiatives. Journalof European Public Policy, 29(11), 1822.

Aven, T. (2011). OnDifferent Types of Uncertainties in the Context of the Precautionary Principle. Risk Analysis, 31, 1515.

Ayres, I., &Braithwaite, J. (1992). Responsive Regulation: Transcending the DeregulationDebate. Oxford University Press.

Baldwin, R., &Black, J. (2016). Driving Priorities in Risk-Based Regulation: What’s the Problem? Journal of Lawand Society, 43, 565.

Baldwin, R., Cave, M.,& Lodge, M. (2011). Understanding Regulation: Theory, Strategy, andPractice (2nd ed.). Oxford University Press. (1999)

Balkin, J. M. (2017).The Three Laws of Robotics in the Age of Big Data. Ohio State Law Journal,78, 1217.

Bhuta, N., &Pantazopoulos, S.-E. (2016). Autonomy and Uncertainty: Increasingly AutonomousWeapons Systems and the International Legal Regulation of Risk. In N. Bhuta, S.Beck, R. Geiβ, H.-Y. Liu, & C.Kreβ (Eds.), AutonomousWeapons Systems: Law, Ethics, Policy (pp. 284). Cambridge University Press.

Bostrom, N. (2014). Superintelligence:Paths, Dangers, Strategies. Oxford University Press.

Boyer-Kassem, T. (2017).Is the Precautionary Principle Really Incoherent? Risk Analysis, 37,2026.

Calo, M. R. (2011). OpenRobotics. Maryland Law Review, 70, 571.

Chander, A., & Lê, U. P. (2015). Data Nationalism. EmoryLaw Journal, 64, 677.

Chesterman, S. (2020).Artificial Intelligence and the Problem of Autonomy. Notre Dame Journal onEmerging Technologies, 1, 210.

Chesterman, S. (2021).Weapons of Mass Disruption: Artificial Intelligence and International Law. CambridgeInternational Law Journal, 10, 181.

China Releases DraftMeasures for the Management of Generative Artificial Intelligence Services.(2023, 13 April). National Law Review.

Collingridge, D. (1980). The Social Control of Technology. Frances Pinter.

Danaher, J. (2019).Regulating Child Sex Robots: Restriction or Experimentation? Medical LawReview, 27, 553.

Directive on AutomatedDecision-Making, (2019). www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=32592

Doran, M. (2020, 6February). Robodebt Legal Warning Came on Same Day Scheme Was Suspended byFederal Government. ABC News (Australia).https://www.abc.net.au/news/2020-02-06/robodebt-illegal-scheme-suspended/11939810

Downes, L. (2009). TheLaws of Disruption: Harnessing the New Forces that Govern Life and Business inthe Digital Age. Basic Books.

European Ethical Charteron the Use of Artificial Intelligence in Judicial Systems and Their Environment. (2018).www.coe.int/cepej

Fenwick, M., Kaal, W.A., & Vermeulen, E. P. M. (2017). Regulation Tomorrow: What Happens WhenTechnology Is Faster Than the Law? American University Business Law Review,6, 561.

Fjeld, J., Achten, N.,Hilligoss, H., Nagy, A. C., & Srikumar, M. (2020). Principled ArtificialIntelligence: Mapping Consensus in Ethical and Rights-based Approaches toPrinciples for AI. cyber.harvard.edu/publication/2020/principled-ai

Gebru, T., Hanna, A.,Kak, A., Myers West, S., Gahntz, M., Khan, M., & Talat, Z. (2023). GeneralPurpose AI Poses Serious Risks, Should Not Be Excluded From the EU’s AI Act.ainowinstitute.org/publication/gpai-is-high-risk-should-not-be-excluded-from-eu-ai-act

Government’s Fraud Algorithm SyRI Breaks HumanRights, Privacy Law. (2020, 5 February). DutchNews.nl.

Guihot, M., Matthew, A.F., & Suzor, N. P. (2017). Nudging Robots: Innovative Solutions to RegulateArtificial Intelligence. Vanderbilt Journal of Entertainment &Technology Law, 20, 385.

Gunningham, N., &Grabosky, P. (1998). Smart Regulation: Designing Environmental Policy.Clarendon Press.

Hagendorff, T. (2020).The Ethics of AI Ethics: An Evaluation of Guidelines. Minds and  Machines, 30, 99.

Harlow, C., &Rawlings, R. (2009). Law and Administration (3rd ed.). CambridgeUniversity Press.

Hill, K. (2014, 14July). Are Child Sex-Robots Inevitable? Forbes.https://www.forbes.com/sites/kashmirhill/2014/07/14/are-child-sex-robots-inevitable

Hine, E., & Floridi,L. (2022). New Deepfake Regulations in China Are a Tool for Social Stability,but at What Cost? Nature Machine Intelligence, 4, 608.

Jobin, A., Ienca, M.,& Vayena, E. (2019). The Global Landscape of AI Ethics Guidelines. NatureMachine Intelligence, 1, 389.

Justo‑Hanani,R. (2022). The Politics of Artifcial Intelligence Regulation and GovernanceReform in the European Union. Policy Sciences, 55, 137.

Le Moli, G.,Vishvanathan, P. S., & Aeri, A. (2017). Whither the Proof? The ProgressiveReversal of the Burden of Proof in Environmental Cases Before InternationalCourts and Tribunals. Journal of International Dispute Settlement, 8,644.

Lee, S. (2020). Cominginto Focus: China’s Facial RecognitionRegulations.https://www.csis.org/blogs/trustee-china-hand/coming-focus-chinas-facial-recognition-regulations

Liu, J. (2020). China’s Data Localization. ChineseJournal of Communication, 13, 84.

Liu, Y.-H., Liao, W.-Y.,Li, L., Huang, Y.-T., Xua, W.-J., & Zeng, X.-L. (2019). Reduction Measuresfor Air Pollutants and Greenhouse Gas in the Transportation Sector: ACost-Benefit Analysis. Journal of Cleaner Production, 207, 1023.

Luciano, F., Cowls, J.,Beltrametti, M., Chatila, R., Chazerand, P., Dignum, V., Luetge, C., Madelin,R., Pagallo, U., Rossi, F., Schafer, B., Valcke, P., & Vayena, E. (2018).AI4People—An Ethical Framework fora Good AI Society: Opportunities, Risks, Principles, and Recommendations. Mindsand Machines, 28, 689.

Maas, M. M. (2018).Regulating for ‘Normal AI Accidents’: Operational Lessons for theResponsible Governance of Artificial Intelligence Deployment. Proceedings of2018 AAAI/ACM Conference on AI, Ethics, and Society (AIES ‘18), 223.

Mac Síthigh, D., & Siems, M. (2019).The Chinese Social Credit System: A Model for Other Countries? Modern LawReview, 82, 1034.

Mondello, G. (2022).Strict Liability, Scarce Generic Input and Duopoly Competition. EuropeanJournal of Law and Economics, 54, 369.

Murugan, V. (2009).Embryonic Stem Cell Research: A Decade of Debate from Bush to Obama. YaleJournal of Biology and Medicine, 82, 101.

Pause Giant AIExperiments: An Open Letter.(2023). futureoflife.org/open-letter/pause-giant-ai-experiments/

Pehrsson, U. (2016, 17June). Europe’s Obsession with PrivacyRights Hinders Growth. Politico.

Preparing for the Futureof Artificial Intelligence.(2016).https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf

Proposal for aRegulation of the European Parliament and of the Council Laying Down HarmonisedRules on Artificial Intelligence (Artificial Intelligence Act) and AmendingCertain Union Legislative Acts. (2021). (COM/2021/206 final).eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52021PC0206

Prosser, T. (2006).Regulation and Social Solidarity. Journal of Law and Society, 33, 364.

Rio Declaration onEnvironment and Development. (1992). In (Vol. UN Doc A/CONF.151/26 (Vol. I),Annex I).

Roberts, H., Cowls, J.,Morley, J., Taddeo, M., Wang, V., & Floridi, L. (2021). The ChineseApproach to Artificial Intelligence: An Analysis of Policy, Ethics, andRegulation. AI & Society, 36, 59.

Robotics and ArtificialIntelligence, Fifth Report of Session 2016–17. (2016). (HC 145).https://publications.parliament.uk/pa/cm201617/cmselect/cmsctech/145/145.pdf

Roy, K. (2015). Warand Society in Afghanistan: From the Mughals to the Americans, 1500–2013. Oxford University Press.

Royal Commission onMotor Cars. (1906).(Cd 3080-1).

Satariano, A. (2020, 20August). British Grading Debacle Shows Pitfalls of Automating Government. NewYork Times.

Satariano, A. (2023, 31March). ChatGPT Is Banned in Italy Over Privacy Concerns. New York Times.

Selby, J. (2017). DataLocalization Laws: Trade Barriers or Legitimate Responses to CybersecurityRisks, or Both? International Journal of Law and Information Technology,25, 213.

Siegmann, C., &Anderljung, M. (2022). The Brussels Effect and Artificial Intelligence: How EURegulation Will Impact the Global AI Market. arXiv.org.arxiv.org/abs/2208.12645

Smith, B. W. (2016).Regulation and the Risk of Inaction. In M. Maurer, J. C. Gerdes, B. Lenz, &H. Winner (Eds.), Autonomous Driving: Technical, Legal and Social Aspects (pp. 571). Springer.

Sunstein, C. (2005). Lawsof Fear: Beyond the Precautionary Principle. Cambridge University Press.

Turilli, M., &Floridi, L. (2009). The Ethics of Information Transparency. Ethics andInformation Technology, 11, 105.

Ugur, M. (Ed.). (2013). Governance,Regulation, and Innovation: Theory and Evidence from Firms and Nations.Edward Elgar.

Veale, M., &Zuiderveen Borgesius, F. (2021). Demystifying the Draft EU ArtificialIntelligence Act. Computer Law Review International, 4, 97.

White Paper on ArtificialIntelligence.(2020). (COM(2020) 65 final).ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf

Wu, T. (2011). AgencyThreats. Duke Law Journal, 60, 1841.

Yang, F., & Yao, Y.(2022). A New Regulatory Framework for Algorithm-Powered RecommendationServices in China. Nature Machine Intelligence, 4, 802.

Zetzsche, D. A.,Buckley, R. P., Barberis, J. N., & Arner, D. W. (2017). Regulating aRevolution: From Regulatory Sandboxes to Smart Regulation. Fordham Journalof Corporate & Financial Law, 23, 31.

国务院关于印发新一代人工智能发展规划的通知 [State Council IssuedNotice of the New Generation Artificial Intelligence Development Plan]. (2017).(Guofa [2017] No 35). www.gov.cn/zhengce/content/2017-07/20/content_5211996.ht