【作者】郑戈

【内容提要】

生成式人工智能的系统性风险与谦抑性立法

*作者 郑戈

上海交通大学凯原法学院教授

上海交通大学中国法与社会研究院企划委员会主任

机器学习大模型是人工智能技术经过60余年累积而绽放出的应季花朵，令观赏者赞叹不已。由于当下的多模态大模型不仅可以生成文字影音内容（AIGC），甚至可以生成实物（借助3D打印技术，比如商汤“日日新”大模型体系中的“格物”），所以被认为是生成式人工智能的突破性进展。

从技术上讲，大模型并非基于任何知识上的创新，而是基于算力、算法和数据的规模升级，是摩尔定律和梅特卡夫定律所揭示的技术的政治经济效应的表现。换句话说，大模型依靠的“暴力计算”，即高性能GPU运行千亿级参数模型通过海量数据进行预训练。

用OpenAI首席科学家伊利亚·苏茨克沃的话来说：“如何解决难题？使用大量训练数据以及一个大型神经网络。这样，你可能得到的唯一结果就是成功。”为此，OpenAI的主要投资者微软投入数亿美元资金为OpenAI打造了一套超算系统，由上万颗单价为数万美元英伟达A100芯片组成，这套系统为训练ChatGPT提供了3640PF-days的算力消耗（即假如每秒计算一千万亿次、连续计算3640天）。

由此可见，大模型训练是一个烧钱的游戏和耗能的游戏，充满着重资本的味道，一点儿也不节能环保。这时，我们就需要对大模型的商业和社会应用进行一番成本-收益分析，看看它所带来的收益是否大于成本以及收益的归属和成本的分担。在进行这种分析的时候，我们应当注意到尚未被计入成本的那些外部性，比如实际上由公众承担成本的环境损害。

系统性风险

大模型能够带来的好处似乎是显而易见的。

虽然训练成本高昂，但一经训练成功，它就可以产生巨大的生产力，自动化地生产文字、图像和音视频内容，比如帮助文字工作者生成文案和文学作品，帮助医生了解病人的病史和症状描述并形成诊断和治疗方案，帮助老师、科研人员和学生阅读大量文本并提取关键知识点和主要论点，帮助法律职业者审阅法律文件、分析法律问题并形成初步法律意见书等等。

进一步，当细分领域的专业化大模型出现的时候，它可以改变各行各业的生产方式和组织形态，大幅度提升制造业、交通运输业、农业乃至任何我们能够想到的行业的自动化程度和生产率。

以商汤的“日日新”大模型体系为例，它包含：

作为对话和文本内容生成平台的“商量”（SenseChat），可以像ChatGPT那样跟人进行多轮对话，可以写广告语、文案、故事、小说和程序代码；如果用于智慧医疗，可以提供随访、健康咨询、互联网问诊和辅助医疗服务，这些功能已经在上海新华医院、郑州郑大一附院、成都华西医院得到实际应用；它还包含根据文字生成图像的“描画”，可以生成图文并茂的文案、漫画并辅助其他形式的艺术创作；还有生成元宇宙3D虚拟场景的“琼宇”，可以实现对虚拟空间和虚拟物体的复刻与交互，比如耗时两天即可生成具有厘米级复刻精度、还原场景的真实细节和光照效果的100平方公里虚拟城市，可用于数字孪生、建筑设计、影视创作、文旅宣传和电商展示等场景；以及“格物”，即连接3D物体生成与3D打印，将自动生成的物体制造成实物，可用于制造业。

这些都是大模型商业模式的从业者向我们展示的美好前景，在丝毫不否认这些场景都有可能在近期实现的前提下，我想指出其另外一面，以便我们的公共选择能够促成一种普惠的现实，而不是让技术成为“割韭菜”的工具，在给少数人带来巨大收益的同时让多数人承担成本而只得到极微小的、甚至是虚幻的好处。

首先，正如前面已经暗示的那样，现有的大模型训练方案是对人类已有的创造成果的规模化学习，所产生的结果是已有内容的新的表达形式，它不会带给我们关于事实的新知。

已有的实操都显示出，ChatGPT更善于回答“主观题”，而在“客观题”方面则无法给我们提供准确的答案。也就是说，大型语言模型学会了人类的油嘴滑舌和政治正确，却丝毫不“关心”真理和事实。

这倒是与语言本身的功能高度吻合。按照悉尼大学语言学教授恩菲尔德（N. J. Enfield）的说法，语言是人类社会生活的产物，它的首要功能不是再现现实，而是维系社会系和协调社会行动。

借助语言，我们不仅对其他人产生影响，而且与其他人一起来影响社会。在使用语言时，我们不仅考虑要不要表达自己的真实想法，还要考虑其他人会怎么理解我们所表达的内容，以及他们在按照自己的理解消化了我们所表达的内容后会如何回应我们。

语言的功能塑造着语言的形态，导致所有的人类语言中都包含大量表示人类主观感受的词汇，而描述自然事实的词汇却缺乏精准性。比如，人眼可以辨别几百种颜色，但描述颜色的词汇在任何人类语言中都只有屈指可数的几个。他最后的结论是：语言对律师而言是好的，对科学家而言却是糟糕的。

刘慈欣的《三体》也呈现了人类语言的这种特点。

三体人不借助语言来交流，所想即所见，这种特点可能是使他们的科技远远领先于地球人的原因之一。毕竟地球人耗费于揣摩心思、编制花言巧语、维系社会关系上的时间和精力远远多于用来认识客观世界的时间和精力。甚至更专注于事实世界的人会被认为不合群、不正常，因此会在社会选择中被淘汰。

但人类思想的不透明也令三体人感到害怕，你永远无法从一个地球人说的话里判断出他的真实想法。地球人也正是利用自己的这个比较优势（或比较劣势）制定出了面壁者计划。面壁者被假定是城府最深的人，他们所说所做的一切都是“计划的一部分”，但这种计划完全是私密的、不为外人所知的。

语言大模型的运行机理不是透过话语的表象来呈现人的内心，更不是超越语言来帮助人类认识现实，而是熟练地使用语言表象本身，使表象更加表象，乃至可以自动化地生成。

以下就是我跟ChatGPT两段对话的截屏，从中我们可以看出ChatGPT是如何的“虚伪”，如何的不关注事实，但又如何的圆滑和政治正确，而且这种政治正确是以它所学习的语料中呈现出的主流价值观为标准的。