【作者】郭春镇、勇琪

【内容提要】

算法的程序正义

*作者 郭春镇

厦门大学法学院教授

上海交通大学中国法与社会研究院兼职研究员

*作者 勇琪

厦门大学法学院博士研究生

摘要：伴随着数字中国建设的深入推进，算法已演变为一种新型的权力形态，即算法权力。算法权力通过算法的主体化趋势、黑箱机制、价值的非中立以及决策结果的不受监督等特性完成了全方位的风险渗透，不仅挑战着程序限制恣意的根本属性，而且冲击着参与、公开、中立和公正等程序正义的内在价值。有鉴于此，程序正义理论和制度内涵需要在传统基础上加以更新和推进。算法的程序正义理论在确立“以人为本”的智能伦理观的基础上，通过算法公开、算法影响评估和问责等新的制度性设计，化解传统程序所面临的正义风险，促进正义价值的实现。

| 问题的提出 |

程序正义是以源起于英国并为美国所继承发展的“正当程序”（due process）思想为背景而形成和展开的，二者在内容上具备重合性和一致性。“满足正当程序要件的程序才是合乎程序正义的程序，反过来说合乎程序正义的程序就是正当程序。”正当程序的实质是排除恣意性因素，保证结果的客观正确性。在公对私的关系中，正当程序限制国家权力，保障私权利的充分实现；在私对私的关系中，正当程序消除“角色紧张”（role strain），保证当事人之间能平等地表达、对话和交谈。通过过滤和均衡，程序参与各方既相互配合又相互制衡，恣意性因素被压缩，一种自由对话的条件和氛围得以形成。正当程序的公开性、参与性、中立性、公正性以及保障人的尊严等基本价值要素在此意义上得以形成。然而，算法自动化决策的广泛运用以及算法权力的恣意性因素对正当程序提出了时代难题。

早在 20 世纪 50 年代，算法自动化决策就开始被应用于公共行政领域，当前更是被广泛运用于福利资格审查、健康码、食品安全监管、环境污染检测和治理以及社会风险预测预警等社会治理诸领域，构成了公共行政与智能算法相融合的新型社会治理范式。在司法领域，智慧法院、云审判、远程异步审判、AI 法官、类案检索系统等以算法为支撑的数字科技的运用，也带来了司法审判的制度革新。在私人生活领域，算法还构成了个体的生活方式，个人的信用等级、行为偏好、健康状况以及经济情况等都与算法密切关联。对此，有学者认为，算法代表着某种福祉（well-being），对算法的远离某种程度上是对生活和福祉的漠视。

然而，算法普遍而广泛的运用，无形中影响着公众的认知框架和价值选择，也以隐秘的方式改变着社会和国家的制度结构。例如，在算法的商业化应用中，头部企业、互联网大厂以其超强的算力以及资本运作能力收集大量数据资源，形成超现实联结的关系网络，改变着人与人的关系格局，挤压着中小企业的生存空间，甚至反向影响国家政策和法律法规的制定。而当算法开始影响或控制人的想法或行为，具备资源调配能力时，就从单纯的技术转化为一种实质意义上的权力，即算法权力。伴随着算法权力的日益膨胀，一种“技术性支配逻辑”和“算法滥权”的担忧开始出现。有论者指出，人工智能时代，算法权力主导下的自动化决策系统依照传统程序正义标准适用时，条件发生了重大改变，不仅侵蚀了传统程序正义推崇的程序性权利，而且危及参与、中立、透明、公正等程序正义的基本要素。具体来说，算法的主体化趋势架空参与原则、算法黑箱机制遮蔽公开原则、算法价值偏见减损中立原则、算法决策结果的不受监督冲击公正原则。因此，在加快推进数字中国建设、以技术赋能国家治理现代化和法治化的同时，有必要开展对算法进行规制的新的法治研究。

本文旨在讨论算法自动化决策在何种意义上对程序正义理论造成了广泛且持久的冲击，并且在此基础上进行新的法律制度性设计，在拥抱数字技术的同时，也保障算法能被纳入程序正义的轨道上进行规制。需要强调的是，算法程序正义理论并非要抛弃传统程序正义理论，而是奠基在后者的理论根基之上。算法程序正义理论仍旧以传统程序正义的公开性、中立性、参与性、保障人的尊严等要求为基础价值模板，挖掘算法自动化决策过程中与传统程序正义理念不相契合的维度。不同的是，算法的程序正义旨在提供一个新的程序性机制设计，在承认算法自动化决策技术的合理性、对其予以吸纳和包容的同时，也弥补了传统程序正义因数字技术的侵蚀而产生的理论鸿沟。可以说，二者在基本价值上具有一致性，但在机制设计上，算法的程序正义又是对传统程序正义的重塑、回应和补充。算法程序正义理论与传统程序正义理论共同构筑起社会公平正义与善治价值实现的程序性保障。

| 算法应用维度的程序性风险 |

（一）算法的主体化趋势架空参与原则

尤尔根·哈贝马斯（Jürgen Habermas）曾言：“交往行动的主体愿意使他们的行动计划建立在一种共识的基础之上，而这种共识又建立在对有效性主张的相互表态和主体间承认的基础之上。”主体间的交往行为理性依赖于主体间的言语和行为互动，在承认彼此主体性地位的基础上就世界中的存在达成沟通和共识。从这个角度看，程序参与者的行为也可被视作典型的理性交往行为，而符合交往行为之有效性要件的程序，就是具备正当性的程序。

具体来说，正当程序强调参与性和主体间性，注重程序参与者的主体性地位以及主体间的互动性权利。这要求程序参与者进行面对面的对话、交谈和辩论，当事者以自身的语言和感官为媒介，即时地陈述意见、提出质疑和表达主张。传统司法程序的出庭作证就是正当程序参与原则的具象。但是算法自动化决策流程是瞬时杂糅完成的，不仅压缩了正当程序的自由裁量空间，也限制了告知、说明理由、听证等的实现。最常见的例子就是交通违章的自动识别（俗称“电子眼”），算法自动化决策系统对监控设备捕捉到的车辆图文信息进行技术性对照、分析和处理，形成车辆违章数据，经过交通部门审核后，将违法通知发送至相对人。在这个过程中，算法对行政程序进行压缩和简化，形成“算法决策——人工审核——发送处罚决定”的封闭决策流程。行政机关与相对人之间通过冰冷的机器和数字进行沟通，甚至在有些情况中，相对人在接到罚单时并不知晓自己何时何地违反了交通法规。执法人员隐藏在“电子眼”之后，无法履行告知说明的程序性义务，从而间接地剥夺了利害相关人的知情权和提前获得告知的权利。传统行政程序所要求的直接言辞性和亲历性大打折扣，参与性机制因算法自动化决策的应用而无更多的适用余地。

从更深层次来讲，正当程序要求保障“人”的在场和主体间性互动，不仅仅是参与原则的基本要求，同时也是保障人的尊严的内在要求。杰里·马修（Jerry L. Mashaw）的“尊严理论”认为维护程序的公正性、人道性和合理性的最根本目的在于使那些受裁决结果影响的人的尊严得到尊重，评价程序正当性的标准应当是人的尊严受维护的程度。保障个体尊严的程序意味着承认人的理性主体地位和自由价值，同时尊重人的自由意志和自主选择。

然而，算法决策过程不仅导致“人”的缺席，甚至算法自身也可能演变为凌驾于“人”之上的“超人”。“算法超人”通过系统化规则程序剥夺着人的真实自由和无限可能，“通过机制化、体制化、制度化规定概念数据信息库的方式，让人失去反思的能力，从而使人沦为程序化的存在物”，吞噬着主体与生俱来的价值尊严。具体来说，大数据时代下，算法借助资本力量，在人工智能时代搭建互联网生态平台，用户通过形式上的“知情 - 同意”原则进入系统架构中。在此基础上，算法通过不同系统架构间数据共享的方式，实现内在的扩张和延伸，并披上行为规范的外衣进一步对个体行为进行实时干涉，实现了福柯意义上的“毛细血管式”的权力渗透。因此，在算法的逻辑运作中，数字技术以极低的成本和“润物细无声”的方式对人进行管制和控制。甚至在有些场景下，人与机器的主客体关系倒转，人被视为可预测、可计算和可控制的“他者”。算法机器在技术理性的指引下，放弃了经验、情感和知识谱系，反向仰赖于机械的数理计算以及僵化的逻辑推理，并碾压着人与生俱来的“自我”尊严。

（二）算法黑箱机制遮蔽公开原则

自 20 世纪中期开始，日本以及欧盟诸成员国等近 50 多个国家和地区都陆续制定了信息公开法，公开、透明原则在程序运行中占据越来越重要的地位。然而，算法黑箱（Black Box Algorithms）的非透明化和非公开化正遮蔽着正当程序的公开原则。算法黑箱最初产生于电子信息工程领域，指的是算法机器在数据汇总和深度学习时，其复杂的神经元网络中存在的不为人所直观捕捉到的隐层。以“智慧红绿灯”为例，AI 信号优化算法根据实时人流状况以及交通情况，对每个时段做出精细的配时优化、控制模式优化，以确保道路交通正常运行，在肉眼可见的红绿灯交替闪烁的客观表象背后，隐藏着的是不为人所知的复杂算法逻辑，即算法黑箱。算法黑箱是将复杂的技术计算过程以简单的方式呈现出来的必要步骤。但是正如美国学者迈克尔·贝勒斯（MichaelD·Bayles）指出，对秘密性的一个常见指控是，人们试图掩盖某些东西，因而规则公开适用的意义在于让人们亲眼目睹正义的实现，否则人们就可能认为正义未被实现。算法自动化决策的黑箱化运转使得程序以非肉眼可见的方式进行，我们无法对算法运行过程中的错误数据、无效假设和缺陷模型进行监督。算法黑箱机制具备的“封闭性”和“暗箱性”，威胁着程序公开和透明的实现。基于此，公开算法、让算法在阳光下运行的呼声也越来越高。

但是，算法公开也面临着可行性的难题。例如在商业性算法应用中，在知识产权法的可允许范相关社会组织享有合法的算法公开抗辩权，算法黑箱成为保护商业秘密的重要理由。例如，2021 年我国第一例算法商业秘密保护案——深圳市智某信息技术有限公司诉光某蜗牛（深圳）智能有限公司等侵犯商业秘密纠纷案，裁判文书中明确指出：算法的核心为技术模型选择及权重排序，这能为权利人带来商业收益和可保持的竞争优势，因而应当作为商业秘密予以保护。

另外，在市场化的算法应用制度下，企业成为横亘在政府和公众之间的营利性市场主体，应用于公权力机构的算法也移植和保持了商业算法固有的黑箱特征。一个明显的常识是，政府并不具备研发算法的能力，因而公共部门对智能机器的引进和应用只能依赖于企业和算法市场机制，通常的途径有二：通过政府采购的方式购买算法服务；将算法的研发外包给更加专业的科技公司。例如，杭州市的“城市数据大脑”等一系列智慧城市建设项目以及浙江“政采云”网络平台的核心算法是由阿里巴巴公司提供的；广州“粤省事”政务服务平台则由腾讯公司提供云端支持。科技公司介入政府治理，为政府的公共治理提供了算力支持，但同时也意味着公权力机关让渡给企业部分甚至全部算法黑箱控制权。而出于对算法研发者的知识产权优先保护的考量，算法使用者的知情权以及算法的公开性要求则在价值序列上劣后。因此，算法黑箱的存在是算法自动化决策难以满足正当程序的透明度要求的现实障碍。

（三）算法的价值偏见减损中立原则

一般来说，人类情感具有主观性、易变性和价值偏好性，而科学则具有客观性、中立性和可预期性。因此，人们更愿意相信没有情感羁绊的、以现代科技为基础的算法在中立性上远超人类，并且愿意相信算法自动化决策能更好地满足程序的中立性和客观性要求。实际上，对算法自动化决策过程和结果的绝对信任是一种对科学逻辑的盲目崇拜。算法也是由人设计，在设计之初就不可避免地植入人的“前理解”，算法设计者和控制者的主观价值偏好和利益倾向以数据和代码的形式嵌入到算法运行的全流程中，并以隐而不显的方式影响着决策结果。

第一，训练数据存在价值偏差。算法自动化决策需要算法和数据结构的双重支撑，因而学界形象地将算法比喻为引擎驱动，将数据比喻为石油。然而，在一定情景下，支撑算法运行的训练性数据可能会产生技术上的偏差和价值上的偏见，从而损害正当程序的客观中立性要求。一般来说，算法具备无人监督下深度学习和自动抓取数据的能力。在数据抓取过程中，由于大小数据样本的地位悬殊，因而智能算法往往会选择性地抓取多数族群的数据，而“不自觉地”将一些特征不太明显的少数族群数据直接归为多数族群的（噪音）错误数据。根据计算机领域“垃圾进，垃圾出”（GIGO）定律，错误和歧视性数据的输入一定会导出歧视性结果。例如，2015 年，谷歌的照片应用程序错误地将两张黑人的照片标记为大猩猩，原因是算法没有抓取和学习足够的黑皮肤图像模型；再如，选美比赛的人工智能评委大多选择白人参与者作为获胜者，因为其培训是在大量白人图像数据上进行的。这两个案例中，白人数据作为多数族群数据，在算法运行中占据相对优势地位，而黑人数据则被边缘化甚至被消解，并进一步造成算法对黑色人种的歧视性分析。因此，不同族群数据分类准确率的差异，是算法表现出歧视的主导性因素之一。

第二，算法设计者和控制者的利益倾向导致算法价值的非中立。如果说支撑算法运行的数据库存在的价值偏见属于“技术性偏见”（technical bias）的话，那么算法设计者和控制者的偏见则更多地属于“既存性偏见”（preexisting bias），即人类头脑中的偏见，根源于社会文化和社会制度。算法终究为少数人开发、控制和利用，训练数据的选择、重要数据的识别和标记都是由人决定，因此人类本身也是算法偏见的主要来源。例如，出于利己的人性，算法既得利益者和控制者无疑将会运用算法为自身谋求最大利益。尤其是在商业场景中，要求企业在设计算法过程中自觉地考量公共利益和个人权益，似乎很难实现。头部企业通过操纵算法，对个体进行差别性对待的现象屡见不鲜，最为典型的就是“算法杀熟”。在大数据环境下，企业掌握着用户的身份、性别、行为偏好、消费习惯、消费历史等海量数据，能轻易地对用户贴上特定标签。在此基础上，算法技术对消费者行为进行“追踪”和定点“突破”，从而开展个性化促销并有针对性地实施差别定价。从经济学角度来说，“算法杀熟”有其合理性，是企业为追求自身经济效益最大化进行的机制设计。但是，对经济利益的追求要受限于价值上的正当性与合法性。“算法杀熟”本身构成了对消费者的歧视性偏见，它突破了“同物同价”的传统定价模式，对消费者实行区别对待，有违程序的中立性要求。

（四）算法决策结果不受监督冲击公正原则

正当程序的中立性关注的是程序全过程的公正无偏私，而公正性关注的则是结果正义或实质正义。“程序正义对于结果正义的实现尤其是结果的接受发挥重要的保证作用，而结果正义作为人们的规范性期望，又在很大程度上影响着对程序正义的感受。”结果正义是程序正义的内在要求。这与罗尔斯所述的完善的程序正义理念存在相通之处。所谓完善的程序正义是指存在着决定结果是正义的正当标准，并可以设计出有效地实现这一结果的程序。然而人的有限理性决定了完全的程序正义是可望而不可及的，现实世界只能退而求其次，追求一种不完善的程序正义，即存在一种独立的评判结果是否正义的标准，但却没有一种程序能确保达到预期结果。例如，刑事诉讼程序无论多么完备，都无法完全避免冤错案件的发生。此时，出于正当程序公正性的要求，对错误和非正义结果进行补救和归责就显得尤为重要。例如，刑事程序中的二审制度、审判监督制度、国家赔偿以及行政程序中的听证、行政救济制度等，都是对非正义结果的纠偏机制和补救措施。

算法自动化决策意味着技术的进场和人的缺席，形成一个封闭的决策流程。在行政决策领域，不同于以往的通过技术设备辅助作出决定的情形，当前部分算法自动化决策正在践行“无人审批”，行政决定的作出完全依赖于算法。“数字化行政开始由程序性的‘服务功能’阶段，发展至实体性的‘决策功能’阶段。”然而，经由算法全自动化决策产生的侵害性结果，存在责任主体难以确定、主观过错难以证明、因果关系混淆不清等问题，这一系列难题也正在阻碍着正当程序对公正性的追求。

| 算法风险程序规制的可能性及理论基础 |

（一）可能性阐释
算法应用维度的程序性风险需要制度设计加以规避。有学者曾言：“新算法决策者对个人生活的重要方面拥有‘主权’，如果这一领域缺乏法律和正当程序，我们基本上是为新的‘封建秩序’铺平道路的中间人。”因此，探索算法规制方式，必须从法治建构入手。“再复杂、高深的技术程序也不允许从法治国家的规范中逃逸，否则就会形成法治国家的‘虫洞’，最终造成法治国只剩下一个‘合法性的空壳’。”毫无疑问，既有的法律规范无法回应算法自动化决策带来的新问题，法学界有责任进行新的理论革新和制度推进。相较于实体规制路径，程序性规制路径更有助于算法治理法治化，程序正义为算法自动化决策程序的风险控制提供了价值维度和基本制度遵循。

第一，算法风险的本质是程序性风险，这为算法的程序性规制提供了基本前提。算法实质上是一种固定的“输入 - 输出”机制，这种流程属性决定了算法是“解决问题的进程”。因此，算法本身就是一种程序性机制。而当算法以半自动化或全自动化的方式替代传统决策流程时，就引发了上文所述的一系列算法应用维度的程序性风险。算法自动化决策“通过代码和算法对规则和程序进行了改写和重建，这其中必然会产生规则程序在价值内涵、权力责任和拘束功能上的‘变异’和‘耗损’”。虽然算法对程序正义的冲击不可避免地会损害到实体性权利，例如平等权和人权等，但是这种对实体权利的冲击也通过算法决策系统的应用转化为对个体程序参与权以及决策者程序中立性地位的影响。因此，算法应用风险本质上是算法这一新兴程序与传统程序的冲突性风险，对算法的规制其实就是以正当程序的要求介入算法，保证算法满足程序正义的客观需要并与传统程序协调对接。换句话说，“算法规制议题的提出源于算法治理造成的程序价值损失，因此算法规制的核心命题在于创造程序价值”，只有通过构建算法程序性机制，塑造“负责任的算法”，才能实现对算法治理的制度纠偏。

第二，正当程序本身所具备的弹性、伸缩性以及限制恣意的根本属性也使其在算法治理方面具备优势。以正当程序要求介入算法的一个关键性问题是：大数据时代，正当程序能否跟上快速变化发展的世界？尤其是当算法以强势姿态介入决策流程时，正当程序理论能否对其予以接纳、包容？正当程序理论能否随着具体情景的变化而不断推进和更新？事实上，正当程序是一个包容性和灵活性极强的概念。正如美国联邦最高法院在 Connecticut et al. v. Doehr 案中指出的，“正当程序与法律规则不同的是，它不是一个与时间、地点和环境无关的技术性概念”。作为程序控制的核心理论，正当程序具有鲜明的时代性、内容上的包容性和适用上的无限伸缩性，能够随着规范对象的时代变迁而不断丰富自身内涵，这也使其在规制算法程序性风险方面具有了普遍适用的可能。

另外，程序限制恣意的特质也决定了算法风险控制应采程序规制进路。算法应用维度的程序性风险从根本上看是算法权力扩张带来的风险。算法以主体性姿态嵌入决策过程，并通过算法黑箱以及偏差性价值的植入决定和控制着个体行为，加之目前尚未存在对决策结果的有效监督和制约机制，因而完成了向程序领域的权力风险渗透。与此相对应，程序又恰恰是为限制权力的恣意性因素而设置，正当程序以其特有的限制权力恣意行使、保证理性选择、让权力（利）“作茧自缚”以及反思性整合等特有功能保证决策结果更加合乎理性。从这个角度看，以程序性路径规制算法应用风险是必然选择。

（二）理论基础

在明确算法程序规制的可行性之后，算法风险程序控制的另一个关键的问题就是如何进行程序性制度设计。面对数字技术对现代正当程序发起的挑战，美国学者丹尼尔·济慈·西特鲁恩（DanielleKeats Citron）首先提出了“技术性正当程序”（technological due process）概念，通过提供维护正当程序和规则制定规范的机制，重新设想算法时代的程序保障。具体来说，重塑算法的程序性保障机制应主要从两个方面入手。其一，保障个体程序性权利。西特鲁恩认为算法自动化决策损害了有效的通知和陈述意见这两项重要的正当程序保障机制，因此应从技术和法律设计这两个层面进行回应。首先就是确保有效的通知。可以通过建立“审计追踪机制”（audit trails），对支持自动化决策的事实和规则进行全程记录和追踪，以保障行政机关能够有效地向个人提供行政裁决的具体说明和理由。其次是保障公民陈述意见的权利，即听证权。同时，在听证过程中，行政机关应说明其对自动化系统的依赖程度，并详细地解释自动化决策系统作出决定所基于的事实和法律依据。

国内学界对技术性正当程序的理论研究方兴未艾。有学者认为需要从算法设计的源头构建“技术性正当程序”，通过程序的代码化实现算法的公开性、可解释性、可审查性；有学者主张一种智能程序正义观，指出算法正当程序既需要坚守传统正当程序的法治原理，又需要对算法决策的技术理性予以兼容发展；有学者则认为应从算法披露、审查和问责机制入手，化解算法程序困局；也有学者主张从行政公开原则、公众参与原则与说明理由制度入手，保障算法治理时代的正当程序制度；还有学者指出为应对自动化行政对行政程序的挑战，应对自动化行政进行分级，根据程度不同的自动化来匹配相应的行政程序要素。总体来说，国内既有理论更多地是在借鉴技术性正当程序理论的基础上，以正当程序的要求来介入算法，以此来应对算法自动化决策对传统程序正义理论发起的挑战。这些理论为大数据时代算法的程序性法律规制开辟出一条全新的路径。

| 算法程序正义的法治构造 |

既有的算法程序法治理论对于算法的程序性法律规制极具启发，但它们在算法和数字技术对正当程序实现功能优劣问题上存在明显的理论分歧。因此算法程序正义的法治构造需要进一步深入探索和整合。从根本上而言，这种法治的建构和调适应在借鉴技术性正当程序及其他相关理论的基础上，从价值植入和制度安排两方面入手，坚持以人为中心的思考范式，在为算法规制搭建一个伦理性框架的同时，通过更加严密的程序性制度设计，对数字时代的程序正义理论进行重塑和推进。

（一）确立“以人为本”的智能伦理观

在人工智能时代，尊严构成了技术实践的制约性伦理要素，尊严应进入技术发展的评价网络并发挥实质作用。未来，算法应确定科学主义限度，以保证人的在场和到位为基本价值指引。与此同时，应对计算机科学进行“祛魅化”处理，时刻遵守“以人为本”的人工智能伦理观，并将算法定位为作出决策的辅助性工具，警惕科学工具对价值和正义理念的侵蚀。

1.确立人机互动的算法决策模式

2016 年，欧洲议会通过的《通用数据保护条例》（General Data Protection Regulation，以下简称 GDPR）第 22 条规定，算法自动化决策过程应当至少保障个人获得人工干预的权利，以及表达意见和质疑决策的权利。算法强调技术理性和形式逻辑推理，因此其核心价值在于能更好地辅助个体、企业和公权力机关进行决策，促进决策流程的标准化与规范化，而不是取代人的主体地位。应始终明确的一点是，算法是而且始终应是客体化的工具。在面对人工智能机器时，个体也应始终抱持着“有思考的采纳”思维。智能机器作出的决定不能被直接执行，必须由个体介入并监控决定过程，并为个体综核名实、统筹裁量留下充分的空间。这就需要设计一种“调解系统”（mediation system），为双方冲突性利益提供商谈环境，同时保障决策者也能够通过系统聆听意见并作出理由说明。

2. 有选择地使用自动化决策系统

“道德推理和价值判断属于感知和高阶认知的混合智能”，现有的技术水平无法保障人工智能具备人类所具有的伦理性思维。因此，针对不同的场景，应有选择地使用自动化决策系统。以智慧司法为例，针对不同的案件，司法系统应个性化地采用不同类型的审判方式。对于无案件事实争议以及情感因素较少的简单案件，比如小额借贷纠纷案件以及简单的民事案件，可以采取人工智能在线审判的方式快速审判。而对于涉及道德判断和价值衡量的案件、存在重大争议的疑难案件以及具有极高证明标准和极大试错代价的刑事案件，则应始终坚持以法官为中心的审判原则，谨慎使用司法自动化决策系统。另外，在面对自动化决策系统时，不仅有关机关部门以及企业应时刻保持甄别和筛选能力，同时还要赋予个体一定的自由选择权，是否采用自动化决策系统最终还是要由当事人自主选择决定。对于当事人无法自主选择的自动化决策，例如行政领域的自动化决策应用，有关机关及部门必须履行告知义务，同时告知个体算法决策失误时的救济途径和方式。

（二）保证算法的公开与可解释

1.算法公开、透明

正义要以看得见的方式实现，算法自动化决策流程的公开透明、全景可视是现代正当程序的基本要求。2019 年 4 月 8 日，欧盟委员会发布《可信赖人工智能伦理准则》（Ethics Guidelines forTrustworthy AI），该准则列出“可信赖人工智能”的七个关键要求：人的能动性和监督能力、安全性、隐私数据管理、透明度、包容性、社会福祉、问责机制。其中，透明度要求直接对人工智能算法进行规定。同年，中国国家新一代人工智能治理专业委员会发布的《新一代人工智能治理原则：发展负责任的人工智能》也明确规定，人工智能系统应不断提升透明性。但是算法的公开和透明度要求并不意味着要将算法从源代码到数据结构再到运行逻辑的全部公开。原因在于，算法中携带着个体隐私、商业秘密甚至是国家机密，当算法全部披露时，虽然满足了程序透明度和公开性的要求，但也会产生一系列附带性损害，不利于权利的保障。一个完全透明的社会将会造成侵犯隐私和知识产权盗窃的噩梦。因此，为了尊重多方利益主体的秘密，必须对算法进行有意义的公开，对其披露范围进行选择性限制，按照不同的应用场景，选择合理的公开原则，帕斯奎尔将其称为算法的“合格透明度”（qualified transparency）。

2. 算法解释

“算法透明≠算法可知”，算法具备高度的专业性和复杂性，它包含源代码、目标函数、调整参数和测试指令集等要素，因此通常不为一般公众所理解。即便算法完全被公开，公众也可能淹没在复杂的代码或冗杂的信息之中，无法真正理解算法，算法公开也极易陷入机械主义的泥沼。对此，有学者指出行政透明度可分为“鱼缸透明度”（fishbowl transparence）和“合理透明度”（reasoned transparence），前者强调公众有权获取政府正在做什么的信息，后者强调这些信息的有用性，即政府有义务对公开的信息进行解释说理，前者的实现是后者实现的基础。公开不是最终目的，它只是迈向信息可理解性的过渡性步骤。因此，算法治理时代，“合理透明度”的实现不仅需要算法披露和公开信息，同时还要求有义务解释者对算法程序以可理解的方式进行解释和说理。

算法解释至少应遵循四项最低标准：首先，解释主体要明确。应根据算法应用场景的不同以及算法研发者和使用者是否为同一主体，来确定承担解释义务的主体。其次，解释语言要可理解，应以清晰平实的语言对算法作出准确无误的解释。欧盟 GDPR 第 12 条明确要求算法控制者应当以一种简洁、透明、易懂和容易获取的形式，以清晰和平白的语言进行算法解释。再次，解释的内容必须全面。算法解释者需对算法设计全过程进行解释，不能只截取一个片段进行。解释的范围不仅应包括程序性解释，还应当包括决策解释、信息解释和理念解释。尤其要注重程序的价值中立性问题，对涉及到价值判断的程序设计环节，解释者必须进行公开的论证和说理。最后，解释的方式可分为抽象的初步解释和具体的单独解释。前者要求算法解释主体将解释内容以用户须知或用户协议等电子方式进行全范围覆盖通知；后者则是一种“不打开黑匣子的反事实解释”，即享有“算法解释权”的主体，在其法律权益或经济利益因算法自动化决策而受到损害时，可要求算法解释者提供影响决策结果的重要因素和事实，并进行单独解释和更新解释，而无需扩大到公共层面。

（三）净化训练数据，确立算法影响评估和问责机制

从国际立法来看，针对算法自动化决策价值上的非中立性、结果上的非公正性以及评估和问责机制的缺乏，欧盟及美国均采取了不同的规制模式。例如，欧盟采取以数据保护为中心的规制模式，GDPR 第 9 条就明确禁止在个人数据处理中泄露种族、民族、宗教信仰以及健康信息等敏感性数据。此种模式更多地是从源头对算法偏见进行防范和控制。与之相对应，美国则采用以算法责任为中心的规制模式。例如，2022 年美国俄勒冈州民主党参议员罗恩·怀登（Ron Wyden）、新泽西州民主党参议员科里·布克（Cory Booker）和纽约州民主党众议员伊薇特·克拉克（YvetteClarke）共同提出《算法责任法案》，要求自动化决策系统应具备新的透明度和问责制，并对关键算法和新公开信息进行评估。在我国，《电子商务法》《数据安全法》《个人信息保护法》则是从数据保护和算法规制两个方向对算法自动化决策的过程和结果进行监管和问责。总的来说，对算法歧视和算法结果进行矫正和纠偏依赖于各个环节的联动合作，应从数据源头抓起，保证训练数据的标准化和规范化。同时，引入算法影响评估和问责机制，最大限度地拉长监督和问责链条，保证算法自动化决策从过程到结果均满足程序中立性和客观性的需要。

1.训练数据的标准化与规范化

算法训练数据被污染是造成算法价值非中立的重要原因。正当程序中立原则要求训练数据筛选的标准化和规范化。就具体内容来说：首先，在筛选标准上，应尽量关注小数据样本。对容易被识别为“噪音数据”或“错误数据”的少数族群数据，应设置更为精细化的识别标准，防止少数群体因筛选标准过于粗糙而受到不公正的待遇。其次，在算法研发人员的组成上，应尽量吸纳不同年龄段、不同性别甚至不同种族和肤色的算法设计开发者，保证多方利益主体在算法自动化决策中的力量均衡。同时，还应不定期地对算法研发者展开关于算法中立性的测试与培训，并引入评分机制和惩戒机制，最大程度地避免个体主观价值偏好和偏见数据进入算法自动化决策流程。最后，完善在无人监督情况下算法抓取数据的范围和权限。“在大数据时代信息与信息之间相互链接，信息的摄入单纯考虑到正相关的训练数据不足以反应真实的社会声音。”因此，除了与结果直接相关的正向数据外，一些关联性数据也应纳入算法自动抓取的范围之内。同时，还应对算法自动学习的广度和深度加以限制，保证算法自动抓取的数据能够在人类可预测、可预期的范围之内。

2. 算法影响评估

如果说算法透明度和可解释性的要求是以过程控制结果的机制设计的话，那么算法影响评估机制（Algorithmic Impact Assessment）则是典型的“过程 + 结果”控制型制度工具。“算法影响评估要求设计或运营算法的主体阐述算法系统的技术特征和实现目标，识别其潜在风险的类型和程度，并准备提出对应补救措施”，这是保障算法过程中立性、结果客观性的重要制度设计。欧盟早在GDPR 第 35 条就规定了“数据保护影响评估”（Data Protection Impact Assessment）制度；2019年发布的《算法责任与透明治理框架》（A Governance Framework for Algorithmic Accountability and Transparency）也提出了对公共主体进行强制性算法评估的要求，并规定评估的主要流程包括：权威机构的自我评估、公众参与以及外部研究者的访问。在此基础上，我国 2021 年《个人信息保护法》第 55 条也规定，利用个人信息进行自动化决策应当事前进行个人信息保护影响评估。另外，2021 年国家互联网信息办公室公布《互联网信息服务算法推荐管理规定》，第 8 条明确要求算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等。

3. 算法问责机制

算法问责制是算法程序正义制度设计的最后一环，是从外部视角对算法损害性结果进行的责任回溯。算法问责制的完整定义来自万维网基金会，该基金会将算法问责机制描述为在算法系统中确保“损害可以被评估、控制和补救”。尽管万维网基金会没有明确算法问责制与法律或监管框架的关系，但这三项要素仍旧构成了算法问责机制设计的核心内容。有学者在此三项要素的基础上，对算法问责制进行了简单的类型化定义，并认为算法问责的机制设计至少应有三个简单的目标：促进可取或有益的结果、防止不良或有害的结果、确保适用于人类决策的法律可以有效地应用于算法决策。概括来说，算法问责机制要求责任主体对算法自动化决策产生的结果负责，保证算法决策错误能够在法律框架内得到制约和解决，这需要从责任主体、责任原则和法律责任入手。

| 结语 |

在过去的几十年间，算法为我们实现自由和平等的理想提供了重要的辅助。它打破了知识垄断和学科壁垒，降低了人们获取信息的时间与成本，甚至改变了个体的思维方式和生活方式。然而，当算法与互联网头部企业或公共权力机构相结合时，便衍生出虚拟与现实二维世界的“数智利维坦”。这种新型利维坦正以一种隐秘的方式操纵着个体行为，对公民权利的实现产生消极影响。

算法权力以自动化决策的方式渗入正当程序的各个环节。算法的主体化趋势、黑箱机制、价值偏差以及决策结果的可能错误和不受监督正在以隐性的方式冲击着程序限制恣意的根本属性，也侵蚀着正当程序的参与性、公开性、中立性和公正性，贬损着人的价值尊严。因此，以正当程序的要求来介入算法，对算法的程序正义进行相应的法治构造，是大数据时代算法得以进一步发展的必要前提。为此，我们应通过价值注入与制度安排实现算法的程序正义。首先，应建构“以人为本”的智能伦理观，在保障人的主体性地位的同时，确立人机互动的算法决策模式，有选择地使用算法自动化决策系统；其次，应保证算法的公开性与可解释性，满足正当程序的公开和透明度要求；最后，应净化训练数据，在保证算法训练数据的标准化与规范化的同时，确立算法影响评估和问责机制，为正当程序的中立性和公正性提供制度性救济。

原文刊载于《中国政法大学学报》2023年第1期，感谢公众号“中国政法大学学报”授权转载！

网站编辑：康煜

审读：季卫东