【作者】卡里·科利亚内塞、大卫·莱尔

【内容提要】

作者

*卡里·科利亚内塞（Cary Coglianese）

宾夕法尼亚大学法学院教授

 

*大卫·莱尔（David Lehr）

宾夕法尼亚大学规制项目助理研究员（曾任）

耶鲁大学法学院法律博士（J.D.）2020届毕业生

编  译

*董璐瑶 

上海师范大学宪法学与行政法学专业研究生

 

 

摘要｜

随着行政自动化决策不断推进，行政正在通向由机器制定法规、由算法审理裁定争议的现实前景。机器学习在行政机构中的应用，使人们对算法治理的适当范围和设计提出了质疑。透明度问题源于新兴技术相对难以理解的本质。与长期以来依赖的传统统计分析（即将输入变量与输出变量联系起来的模型）不同，对行政决策者而言，机器学习技术具有明显的“黑箱”特征。这使得人们难以理解算法，也很难通过直观易懂的陈述解释最终结果是如何得以产出。企业或许可以依赖这类不可理解的算法，但行政决策者却受透明原则的约束。

 

 

本文第一部分，作者描述了行政机关使用机器学习的情形，解释了机器学习与其他类型分析工具的区别，并区分出旨在支持（support）人类决策的机器学习与旨在替代（substitute）人类决策的机器学习。第二部分，作者阐述了适用于行政的透明度原则，以表明当前的法律要求。作者区分了“鱼缸式（fishbowl）”透明程度和“合理”透明程度，两者都与算法治理相关，并且目前关于二者的法律规范并不要求达到完全透明。在第三部分，作者评估了机器学习的“黑箱”特性是否会阻碍使用其的行政部门满足法律对透明的规范性要求，同时指出，当行政机关负责任地使用算法时，机器学习能够符合现行规范的要求。总体而言，作者认为尽管机器学习具有“黑箱”特性，但使用算法作为补充甚至替代工具时，负责任的行政能够保证其行为满足相当的透明度。

 

 

 一、通向“黑箱”政府

 

 

（一）算法行政的方式

 

对于行政机关应用的算法，可根据结果的决定性程度进行分类，这里的“决定性程度”指算法的输出是否直接等同于行政行为的最终做出。如果算法通过行政程序或与其他计算机程序结合，能够直接开始实施某一行为，或能够有效地越过人类干预而做出决定，则该算法的输出便是决定性的。相反情形是，算法的输出结果仅仅作为一个需最终决策者考量的因素。目前，行政中应用的大部分机器学习程序并不对最终行为具有决定性影响，但这种情形不会持续太久。随着机器学习技术的进步和支持后端数据基础设施的激增，算法在政府中的作用可能会进一步扩大。机器学习不仅可以很快承担更具决定性的角色，而且从广义上讲，它可以用于裁决（adjudication）和颁布规章（regulation）。

 

通过算法进行的裁决，意味着算法不再仅用于报告与标记，而是通过与其他计算机系统结合，直接自动地进行审计或检查，例如决定是否授予或撤销残疾者的福利补助，或根据未来暴力倾向的预测将囚犯分配到不同牢房。此类裁决是相对直接应用机器学习的程序。如全面应用机器学习作出裁决，需要对后端数据基础架构进行大量技术投资。

 

自动化规则（automated rules）的含义可能具有几种不同形式。最简单的形式是，行政机关授权使用一个特定的机器学习系统，而不是用规范文本对某一规则予以说明。换言之，规制者将授权使用算法进行裁决，作出裁决应适用由算法所构成的规则。在强制性算法裁决的情况下，算法虽然代替了规则，但人类仍在算法的设计与参数设定等方面发挥重要作用。

 

自动化规则制定更具挑战性。与裁决一样，规则制定中需要解决的相关问题超出了个性化预测对信息处理的要求。与裁决不同的是，规则通常不依赖于机器学习简单的事实预测。首先，规则制定最根本问题在于确定相关规范性价值或政策目标，例如确定“安全”的程度与范围。这种价值选择必须人为作出，然后用以设置算法目标函数中指定的参数。即使算法的事实预测功能可以为规则制定决策提供信息，但几乎任何规则制定都需要在多种事实结果中进行权衡，这种权衡需要人类进行判断和选择，单一的机器学习算法本身不能进行多方位的权衡。

 

但是如果预先设定了必要规范，并确定了价值目标，算法的规则制定作用便可以实现。以洛杉矶的红绿灯系统为例，在任何特定时间接近十字路口的任何司机，机器学习系统会自动确定司机面临的“规则”，即司机需要停车还是继续行驶。该系统中的规则选择非常简单且规定得很明确：规则有“红灯”、“黄灯”或“绿灯”三种，反映在算法的目标函数中的价值选择则为实现交通拥堵最小化的目标。根据城市街道上植入传感器收集的数据，该系统在每个路口与不同时刻自动选择规则（即灯的颜色），通过算法的预测缓解拥堵情况。

 

（二）机器学习的特殊之处

 

机器学习算法引发了最重要的法律问题是政府透明度的问题。机器学习算法具有“黑箱”性质，也就是说算法对输入数据的识别模式与预测原理，无法以直观的方式来理解或解释。为了理解机器学习算法为何如此晦涩，首先需要了解机器学习的本质与运作方式，以及它与传统统计分析的区别。

 

传统统计分析与机器学习算法都是旨在实现某个数学目的，并且都试图通过分析历史数据以实现其目标。但传统统计分析和机器学习技术的区别在于分析方式，即如何满足或“优化”目标函数。传统的统计分析中，人类在设置分析中起着关键作用。相比之下，在机器学习中，并不由人类指定输入变量的组合方式，算法本身会尝试许多可能的变量组合，并发现如何组合才能优化目标函数。换句话说，算法“学会”了如何准确地做出预测。算法的运作需要人工干预的环节，包括提供数据、选择特定算法并对优化过程的细节进行调整，并通过“训练集”测试算法的精确度。其重要优势在于提高数据分析的精确度与效率，但算法处理巨量数据的能力与复杂的分析过程，使得人们难以对其进行直观解释。此外，算法基于庞大的数据集，而复杂的数据集必然包含复杂的变量间关系，即使分析人员能够发现机器学习算法的关键变量间关系，也无法在这些关系上叠加任何因果推论。

 

因此，算法“黑箱”似乎违背了法律的一般要求，即行政机关应为其行动提供充分理由，并背离了旨在促进问责制和信任良好政府的原则。那么问题在于，尽管学习算法自有优势，但其表面上不可捉摸的性质是否会使官员无法为某些决定提供充分的理由或解释？换句话说，行政机关能否使算法的输出足够透明？为了评估行政中运用机器学习是否符合通常适用于行政行为的透明原则，第二部分将更深入地探讨相关法律原则。

 

 

二、“开放政府”的法律原则

 

（一）透明的类型

 

政府透明原则具有重要意义，但其透明程度在实践中可能很难评估，因为“开放政府”一词可能具有多种含义。透明具有两种程度上的要求：“鱼缸式（fishbowl）”透明程度与“合理（reasoned）”透明程度。顾名思义，“鱼缸式”透明指公众能够了解政府内部工作，获取有关官员工作的信息，重点在于公众获得政府持有信息和有关政府工作的信息，包括公众能够获取听证会记录、存储在文件柜中或电脑中的记录及资料。例如《阳光下的政府》和《联邦咨询委员会法》分别要求多成员委员会和咨询机构的会议记录向公众开放；《信息自由法》要求各机构应根据要求向公众提供政府文件；《联邦行政程序法》要求各机构对其拟采用的新法规进行公告。

 

 

 

与“鱼缸式”透明强调公众获取有关政府工作的信息相比，“有推理的”（reasoned）透明则强调政府通过说明理由，来解释其行为。其理由应当基于决策者掌握的事实与证据，以及适用的规范性原则，如此才能表明为何否决了其他替代性方案。第四修正案、第五修正案以及《联邦行政程序法》都对此种说明进路做出规范。

 

二者都对良好行政具有重要作用，且二者具有相关性，即“有推理的”透明本质上取决于一定程度的“鱼缸式”透明。这是因为若政府要对其特定行为作出公开说明，则需要披露其行为方式、收集的事实，以及关于其行为正当性的相关分析。另一方面，机器学习对“有推理的”透明而非“鱼缸式”透明提出了最独特的挑战。机器学习算法的黑箱性质阻碍了行政充分说明算法学习程序与结果之间的关系。

 

（二）说明理由的法律要求

 

1.受联邦宪法第五修正案与第十四修正案保护的个人权利因行政裁决而有所减损时，应遵循实质性正当程序与程序性正当程序，向相对人提供充分信息。

 

2. 根据《联邦行政程序法》，正式裁决时行政机关应当陈述“关于事实、法律或裁量权等所有重要问题的调查结果、结论以及理由或依据”；对于非正式规则制定，应提供最终采用规则的“基础和目的的简明说明”；

 

3. 此外，在司法审查中，若法院认为某一行政行为是“恣意和反复无常的”，则由行政机关承担不利后果。法院对恣意和反复无常标准的解释，意在向行政机关施以一种肯定性义务，要求其采取行动时，提供某种包含证据和理由的行政记录。

 

因此，政府至少应当披露其决定所根据的事实依据。对于规则制定，通常要求行政机关公开其作出决定的所有信息，包括可能与其最终决定相反的信息，并作出必要解释。

 

（三）对开放政府的法律实用主义审视

 

以上关于说明理由的法律规范所要求的并非实现完全透明。“鱼缸式”透明更恰当的形容是“半透明”（translucent），例如联邦行政程序法中的豁免条款。即使是那些需要接受司法审查的行为，“有推理的”透明通常也不需要彻底或广泛的解释；此外，程序性正当程序被概括为一种平衡测试，要求法院对程序要求的严格程度作出务实的判断，明确考虑到潜在的程序要求对政府资源的影响。对于司法审查，最高法院明确表示，对行政机关行为缘由的司法调查不涉及民事诉讼中常见的证据开示程序；相反，其审查仅限于该机关在作出决定时的记录。而且当行政机关的理由说明取决于高度技术性的问题时，比如那些需要统计学和科学专业知识的问题，法院还会给予其相当程度的尊重。

 

 

 

因此，即使行政法对行政行为施以“鱼缸式”透明和“有推理的”透明的限制，其适用在很大程度上是实用主义的。“鱼缸式”透明需要考虑到行政命令的豁免，各机关相应地进行调整以提供常规的须公开的政府信息。对于“有推理的”透明，行政机关的行为超越了其裁量权时，法院确实希望其说明理由；然而，法院也给予了行政机关相当大的尊重，以判断什么是充分的理由说明。

 

 

三、算法治理中的说明理由

 

行政机关是否、如何在使用机器学习时满足透明要求，而这取决于行政机关如何应用机器学习，甚至取决于应用哪种机器学习算法。

 

行政决策中应用机器学习需要统计学、计算机或信息科学方面的专业知识，并知悉设计算法时如何将政策选择嵌入数学选择。因此，当下许多行政机构不具备能够在知情的前提下做出前述选择的专业人员。即使外包给私企，也需要具有相关知识的人员提出明确需求与监督开发者。行政机关将算法用于执法定位的行为，可能不受《信息自由法》约束，也不在《行政程序法》的司法审查范围之内。同样，只要行政机关仅将机器学习分析作为人类决策过程中的一个因素或仅作为人类决策的补充，并且有充分而独立的理由证明该行为是合理的，那么足以达到行政法对行政透明的要求。更困难的情境在于，行政机关使用机器学习的输出是决定性的，即机器学习做出了有现实后果且非裁量的决策。

 

对机器学习的许多批评强调“鱼缸式”透明，机器学习的“黑箱”特性明显地指向了“有推理的”透明标准。

 

（一）对“鱼缸式”透明与“有推理的”透明的定位

 

在当下关于机器学习的讨论中，“鱼缸式”透明占据了重要地位。机器学习在行政领域的使用衍生了广泛的潜在可公开信息，包括算法的源代码、目标函数、规范和调整参数、训练和测试数据集，以及将其预测转化为行动的任何辅助计算机程序的编程细节。可以理解公众获取部分或全部信息的愿望，有时至少需要披露部分信息，才能对算法确定的行为提供令人满意的、合理的解释。就目前的司法实践来看，尽管有时很可能要根据《信息自由法》公布某些关于算法的信息，但关于透明的法律规范并不要求完全披露所有信息。某些算法相关的信息可能属于商业秘密，在特定的机器学习应用程序中使用的一些基础数据，如来自个人的医疗、教育、信用或人口普查记录，可能会受到隐私保护。

 

 

 

信息的披露与否在一定程度上都具有政策上的合理性。这里强调的是，在现行法律下，依赖算法系统的行政实体并不需要披露所有有关算法系统的潜在信息，“鱼缸式”透明标准在分析机器学习的法律可行性问题上，具有两个主要含义。

 

第一，任何关于“鱼缸式”透明程度的最佳水平的问题都与对机器学习及其黑箱特质的分析呈相正交。实现算法的“鱼缸式”透明不仅关乎技术，更涉及广阔的政策选择，这已超出了对机器学习技术本身的权衡。此外，算法技术的披露问题可以通过公私协作、开源竞争等方式实现，而这种措施并非专属于机器学习的透明问题。

 

第二，“鱼缸式”透明标准可以间接但整体地影响政府满足“有推理的”透明程度的能力。“有推理的”的透明标准要求行政机关能够说明算法决策的理由与意义，而这一能力可能会受到“鱼缸式”透明标准的限度的影响。例如Hous. Fed’n of Teachers,Local 2415 v. Hous. Indep. Sch. Dist., 251 F. Supp. 3d 1168 (S.D. Tex. 2017).It案中，该学区通过外部供应商的算法程序对教师的表现进行评级，并以此作为解雇评级不佳教师的依据。法院在此案中关注的并不在于哪些程序内容或指标能够予以公开，而在于“仅根据秘密算法做出高风险就业决定的政策，是否符合最低限度的正当程序要求”。

 

（二）算法治理中说明理由的适当性

 

为了辨别政府必须以何种理由来支持机器学习的用途，首先假设在这样一个环境中，公开披露与给定算法系统相关的信息不存在任何限制，所有的公众成员及利害相关人都可以像行政机关中的其他人一样理解算法的运作逻辑。但即使在这种情况下，人们也很难理解算法的输入以及它们如何影响预测。但这不应妨碍行政领域的运用，机器学习算法的不可还原性不应成为使用障碍。在必须提供充分理由的情况下，甚至可以取代人类的决策。

 

 

 

什么才算得上是充分理由，取决于说明理由要求的法律来源，但总的来说，法律对说明理由的要求既不是绝对的也不是完全的。归根结底，它是务实的。关于透明程度的立法可以满足行政机关的选择，即采用最先进的工具，为有效的政府目的提高准确的决策。

 

1.实体性正当程序

 

首先，对于满足实体性正当程序的合理依据所需的理由说明。要符合合理依据的审查，行政机关不需为其行动提供理由；相反，其行动必须是一个能够得到理由支持的行动。当转化为机器学习方面的技术要求时，只需披露机器学习分析中使用的结果变量和优化产生结果预测的目标函数，即可满足实质性的合理性。这两项信息能够揭示决策过程的目标，以及在事实上算法试图实现的确实是这个目标，便能满足对实质合理性的全部要求。

 

2.程序性正当程序

 

当政府作出个别裁决决定时所适用的程序性正当程序，提出了更多限制要求，要求政府必须提供某些理由陈述。然而，最高法院已经明确表示，这些理由不需要采取任何正式意见的形式。提供结果变量和目标函数将构成充分的理由陈述的一部分。程序性正当程序还要求行政机关提供信息证明，有关算法能否满足其行政目标实现的准确性。因为程序性正当程序不仅旨在确保个人能够得到程序上的公平对待，而且需确保行政程序不出现严重的错误。

 

通过机器学习，对纠错信息的程序需求可以通过披露三类信息来满足。第一，行政机关应向因利益受到影响而质疑算法裁决的个人提供收集到的关于他们的数据输入变量，以验证信息的准确性。其次，行政机关应提供信息，说明在测试数据集中评估时，该算法在不同个体中的准确度如何。例如，如果算法旨在预测一个人残疾与否，那么该算法在这种预测中出错的频率如何？即使该算法没有使用任何不正确的输入信息，但一个容易出现不可接受的错误的算法，也可能违反程序性正当程序的要求。但机器学习能比其他技术甚至人类更准确地进行预测，因此这在实践中不太可能成为障碍。第三，政府应该披露来自验证程序的结果，向个人证明其裁决是正确运行算法且未发生故障的结果。例如Joshua Kroll和他的合作者概述了一系列的验证方法，能确保算法的决定“是在一系列公开规则下做出的，并且这些规则在每一种情况下都得到一致适用。”

 

3.“恣意和反复无常”的司法审查标准

 

恣意和反复无常的司法审查标准适用于任何行政行为，尤其适用于对规则制定的司法审查。对于法院，重点在于行政机关能够充分证明设计与使用某一特定算法工具的正当性。行政机关需要揭示其选择的结果变量和目标函数，并证明其正当性。由于目标函数的选择和算法的设计必然要求对政策判断的权衡，行政机关需在其法定职权范围内给出说明，并对规则制定过程中提出的有意义的公众评论加以回应。行政机关还需要验证该算法是否按预期执行，是否实现了合理的目标。法院审查行政机关作出选择的理由及其验证工作，但最终，法律审查应该在于行政机关设计验证算法以实现有效目的时，“是否存在明显的判断错误”，而非是否可对机器学习算法的具体结果加以直观地解释。

 

因此，在大多数情况下，如果行政机关能够证明（a）一个算法系统构建的目的在于通过揭示算法的目标来推进某个合法有效的目的；（b）算法处于正常运行，程序未发生故障并能够产生有效的结果；以及（c）该算法按照预期运作这三个条件，就足以通过“恣意和反复无常”标准的司法审查。

 

 

 

4.有限“鱼缸式”透明限定下的“有推理的”透明

 

行政透明度低于完全“鱼缸式”透明标准时，能否满足以上要求？在目前的司法判例中，行政机关可以以一种不披露商业秘密的方式实现透明要求。例如，对于由企业设计研究的算法，行政机关可以公布其目标功能与结果变量，测试数据集与验证数据集的输出，或者通过独立第三方检验机构，在不披露协议的约束下对其源代码进行审查。

 

很多情境中，对透明性的法律规范能够实现“鱼缸式”透明标准，若不能，行政机关也能够提供一个不需要披露任何机密信息的替代解释。重要的是，在大多数情况下，能满足“有推理的”透明要求。

 

未来，运用所谓黑箱算法的政府不等同于“黑箱”政府。通过负责任的做法，行政官员可以利用机器学习的预测能力，同时忠于公开政府的基本原则。算法治理既能满足法律对透明度的要求，同时还能提高政府的效能、效率，甚至是合法性。

 

 

文献来源：Cary Coglianese & David Lehr, Transparency and Algorithmic Governance,71 Admin. L. Rev.1-56(2019).

文章来源于“规制与公法”微信公众号。