第 21 章 深度学习与伦理(Deep learning and ethics)
本章一句话:AI 既能造福社会,也可能被滥用或带来意外伤害;本章把这些隐患梳理成一张地图——价值对齐、偏见与公平、可解释性、武器化、欺诈、隐私、知识产权、就业、环境、权力集中——并最终落到一句话:科学家不是中立的,必须正视自己工作的道德与社会维度。
读这章的收获:理解“价值对齐难题”这个统一框架,能把偏见、透明性、可解释性等议题挂到它下面;认清 AI 被有意滥用与产生副作用的各种具体形态;明白“科学是价值中立的”这一理想为何站不住脚;知道作为研究者/从业者可以做什么。
本章速览
- AI 伦理还很年轻:现代深度学习从 2012 年的 AlexNet 起步,但 AI 伦理的“AlexNet 时刻”要到 2016 年(ProPublica 揭露 COMPAS 再犯预测模型的偏见 + O’Neil《数学杀伤性武器》)。大量伦理准则文件是“自愿、不具约束力”的,效力存疑;伦理考量往往是事后补救而非事前预防。
- 核心框架 = 价值对齐难题:我们希望 AI 的“价值”(目标)与人类一致,但这很难。可以看成一个委托—代理结构:人类委托人把任务交给人工代理,问题出在两处——目标设定错了(→ 偏见)或信息不对称(→ 不可解释)。
- 偏见与公平:偏见会在“问题设定—数据—建模/验证—部署”各环节潜入;“假装看不见”(删掉敏感属性)无效,公平的数学定义之间还彼此矛盾。
- 透明 ≠ 可解释:透明指“操作细节已知”,可解释指“人能理解它怎么决策”。即使透明,几十亿参数也无法靠看代码理解;催生了“可解释 AI”,目前较成功的是局部解释(如 LIME)。
- 有意滥用:人脸识别/分析(监控、伪科学)、武器化与政治干预、欺诈(钓鱼、深伪、ELIZA 效应)、数据隐私(去匿名化)。
- 其他副作用:知识产权、自动化偏见与“道德去技能化”、训练的环境成本、就业冲击、权力与财富向少数巨头集中。
- 科学不是价值中立的:机器学习依赖归纳推理,天生带“归纳风险”;接受或拒绝一个预测本身就是价值判断。负责任的 AI 研究是一个集体行动问题。
21.1 价值对齐(Value alignment)
设计 AI 系统时,我们希望它的“价值观”(也就是它的目标)与全人类的价值观保持一致,这被称为价值对齐难题(value alignment problem)。之所以困难,有三层原因:
- 难以完整、正确地定义我们的价值;
- 难以把这些价值编码成 AI 模型的目标;
- 难以确保模型真的学会执行这些目标。
在机器学习里,损失函数只是我们真实目标的“代理”。当两者不一致时:
- 外部对齐问题(outer alignment):代理(损失函数)本身没设好。代理越不到位,系统越能钻空子——把损失降到最低,却没真正达成意图。例如训练一个下棋的强化学习智能体,如果奖励“吃子”,结果可能是大量和棋,而不是我们想要的“赢棋”。
- 内部对齐问题(inner alignment):即使损失函数定义得很好,也要保证模型的实际行为不偏离意图。如果学习算法没找到全局最优、或训练数据不具代表性,训练可能收敛到一个与真实目标不一致的解,产生不良行为。
Gabriel(2020) 把价值对齐拆成两部分:
- 技术成分:如何把价值编码进模型,让它可靠地做该做的事。像“避免奖励黑客(reward hacking)”“安全探索”等具体问题,可能有纯技术解。
- 规范成分:到底什么才是“正确的价值”?这往往没有唯一答案,因为不同文化和社会看重的东西不同。关键是编码进去的价值要代表所有人,而不只是社会中占主导地位的那部分人。
一个统一的视角——委托/代理结构:可以把价值对齐看成“人类委托人(principal)把任务交给人工代理(agent)”时出现的结构性问题,类似经济学里的委托—代理问题。利益冲突来自两处:(i) 目标被设错,或 (ii) 委托人与代理之间存在信息不对称。
配图直觉(图 21.1):画一个“人类委托人 → 人工代理”的箭头。问题来自两条岔路:a) 目标错位(典型后果就是偏见);b) 信息不对称(典型后果就是缺乏可解释性)。本章后面几节正好沿这两条岔路展开——偏见/公平、人工道德能动性属于“目标设定”一侧;透明性、可解释性属于“信息不对称”一侧。
21.1.1 偏见与公平(Bias and fairness)
从纯科学角度看,偏见(bias)就是相对某个基准的统计偏离。在 AI 里,当这种偏离取决于“不正当因素”并影响了输出时,它就变得有害。例如:性别与工作表现无关,所以用性别决定是否录用是不正当的;种族与犯罪无关,所以用种族作为再犯预测的特征是不正当的。
偏见会在训练流水线的各个环节潜入:
- 问题设定:选择模型目标本身就是价值判断(什么对我们重要),这为偏见打开了口子;如果还没能把目标准确“操作化”,问题设定就抓不住真实意图。
- 数据:数据集不具代表性或不完整时会产生算法偏见。例如人脸超分辨率算法 PULSE 主要用白人名人照片训练,把一张低分辨率的奥巴马肖像“还原”成了一个白人男性。更深一层:如果产生数据的社会本身就在结构上歧视边缘群体,那么即便数据完整、准确,也会引出偏见——例如美国黑人历史上被警察盘查和监禁的频率更高,因此用历史数据训练的再犯预测模型从一开始就对黑人社区不利。
- 建模与验证:选择哪个“公平的数学定义”也是价值判断。存在多个同样直观、却在逻辑上互相矛盾的公平定义。这提示我们:要从“纯数学的公平”走向“算法在实践中是否真正促进了正义”的实质性评估。
- 部署:上线后的算法会与其他算法、结构、制度互动,形成复杂的反馈回路,把既有偏见固化。例如大语言模型用网络数据训练;而模型的输出又被发到网上,污染了未来模型的训练数据,可能加剧偏见、制造新的社会伤害。
配图直觉(图 21.2,偏见缓解):把训练流水线画成四段,每段都有对应手段——数据收集(找出缺失的样本/变量并补齐)→ 预处理(修改标签、输入、或输入/输出对)→ 训练(对抗训练、为公平加正则、加约束)→ 后处理(调整阈值、用准确率换公平)。
交叉性(intersectionality) 会让不公平雪上加霜:社会身份会叠加,形成相互交织的压迫系统。一名“酷儿+有色+女性”所受的歧视,并不等于她分别作为酷儿、作为女性、作为有色人种所受歧视的简单相加。在 AI 里,研究发现:主要用浅肤色人脸训练的人脸分析算法,对深肤色人脸表现更差;而在“肤色×性别”的组合上,表现比单看各特征所能预期的还要差。
怎么防止?一种幼稚的做法叫“无意识公平(fairness through unawareness)”——直接把受保护属性(如种族、性别)从输入特征里删掉。但这无效:剩下的特征仍可能携带这些属性的信息。更务实的做法是先定义一个公平的数学判据(如二分类里的“分离”度量:要求预测 ŷ 在给定真实标签 y 时与受保护变量 a 条件独立),再用各种手段去逼近它。
还有一个棘手处:要判断算法是否对某社区不公,前提是能确认社区成员身份。但许多边缘群体的特征是不可观测的(如酷儿身份、残障、神经多样性、阶层、宗教),这让偏见缓解更难。
21.1.2 人工道德能动性(Artificial moral agency)
很多决策空间里的动作并不承载道德分量(下一步走哪个棋子没有明显道德后果)。但有些场景里的动作带有道德分量:自动驾驶的决策、致命性自主武器系统、用于育儿/养老/医疗的专业服务机器人。随着这些系统越来越自主,它们可能需要在没有人类介入的情况下做道德决策。
这引出人工道德能动者(artificial moral agent)——能做道德判断的自主 AI。按复杂度递增可分四级:
- 伦理影响能动者:会让局面变好或变坏,但设计时根本没考虑伦理。几乎任何投入社会的技术都算。
- 隐式伦理能动者:内置了某些安全特性的伦理影响能动者。
- 显式伦理能动者:能根据情境遵循一般道德原则或行为规则。
- 完全伦理能动者:具有信念、欲望、意图、自由意志,并对自己的行为有意识。
研究如何创造人工道德能动者的领域叫机器伦理(machine ethics),方法分三类:
- 自顶向下(理论驱动):直接实现并分层排列一套基于某种道德理论的具体规则。阿西莫夫的“机器人三定律”是一个简单(也很粗糙)的例子。
- 自底向上(学习驱动):模型从数据中学出道德规律,不显式编程。例如有人设计了基于投票的伦理决策系统,从人类在道德困境中的偏好数据里学“社会偏好”,再汇总出一个“伦理”决定。
- 混合:两者结合。
也有研究者质疑“人工道德能动性”这一概念本身,认为为了保证安全并不需要它。
21.1.3 透明与不透明(Transparency and opacity)
- 透明(transparent):系统运作的所有细节都已知。
- 可解释(explainable):人能理解它是怎么做决策的。
缺乏透明或可解释,就会在用户与 AI 之间形成信息不对称,难以保证价值对齐。透明又可分三个层次:
- 功能透明:知道算法逻辑(输入到输出的逻辑规则)。本书所有方法都是在这个层次上描述的。
- 结构透明:知道程序是怎么执行这套算法的。高级语言写的命令被翻译成机器码后,这一层会被遮蔽。
- 运行透明:知道某一次具体运行是怎么执行的——对深度网络而言,包括硬件、输入数据、训练数据以及它们的相互作用。这些都没法靠看代码得知。
举例:GPT-3 是功能透明的(架构有论文描述),但不结构透明(拿不到代码),也不运行透明(拿不到学到的参数、硬件、训练数据)。而后来的 GPT-4 完全不透明——这个商业产品到底怎么工作的,外界并不知道。
21.1.4 可解释性与可诠释性(Explainability and interpretability)
即使一个系统是透明的,也不代表我们能理解它的决策是怎么、基于什么信息做出来的。深度网络可能有几十亿参数,光靠“看”根本无法理解它如何工作。然而在某些司法辖区,公众可能有权获得解释——例如欧盟《通用数据保护条例》(GDPR)第 22 条暗示,在决策完全由自动化流程做出的情况下,数据主体应有权“获得对所达成决策的解释”。(注:第 22 条是否真的赋予了这种权利,本身仍有争议。)
这些困难催生了可解释 AI(explainable AI) 子领域。一个比较成功的方向是局部解释:我们解释不了整个系统,但有时能说明“某个特定输入是如何被分类的”。例如 LIME(局部可诠释、与模型无关的解释):在感兴趣的输入点附近采样模型输出,用这些样本去拟合一个更简单的模型,从而窥见这次分类决策的逻辑——即便原模型既不透明也不可解释。
配图直觉(图 21.3,LIME):高维下很难知道一个决策为何如此、也很难知道怎么改输入才能改结果。LIME 在目标点附近撒点,看模型把它们判为正类还是负类,并按“离目标点远近”给点加权(越近权重越大);用这些加权点训练一个简单模型(如逻辑回归)。在目标点附近,这个简单模型很接近原函数——于是即便没拿到原模型,我们也能读出近似模型的参数,得知“增大 x₁ 或减小 x₂ 会让正类概率上升、类别翻转”。
至于“可解释/可理解/可诠释”到底该怎么定义,目前学界仍无统一说法;能否造出对用户乃至创造者都完全可理解的复杂决策系统,仍是未知数。
21.2 有意的滥用(Intentional misuse)
上一节的问题源自“目标没设好”和“信息不对称”。但即使系统功能完全正常,它也可能本身就涉及不道德行为,或被人有意滥用。本节列举若干具体担忧。
21.2.1 人脸识别与分析(Face recognition and analysis)
人脸识别技术被滥用的风险特别高。威权国家可用它识别并压制抗议者,威胁言论自由与抗议权这些民主理想。有学者指出:自由民主的价值(安全、隐私、自主、问责)与这些技术的潜在用途(边境管控、刑侦与治安、国家安全、个人数据商业化)之间存在根本错位,以至于有研究者、活动家和政策制定者质疑“这种技术是否应该存在”。
更糟的是,这些技术常常做不到它们宣称的事。例如纽约大都会运输署在概念验证中检测人脸的失败率高达 100%,却仍推进并扩大了人脸识别的使用。人脸分析工具更是经常夸大能力,号称能从一张脸推断性取向、情绪、可雇佣性甚至犯罪倾向。有学者警告:计算机视觉让“面相学”和“颅相学”这类毫无科学依据、种族主义且早被推翻的伪科学死灰复燃。
21.2.2 武器化与政治干预(Militarization and political interference)
各国政府出于国家安全和国家建设的考虑,有强烈动机资助 AI 研究,这可能引发国家间的军备竞赛——伴随高投入、缺乏透明、相互猜疑与恐惧,以及“抢先部署”的意图。
致命性自主武器系统最受关注,因为它最容易想象,而且确实有许多正在研发。但 AI 还会助长网络攻击和虚假信息(disinformation) 战——即以欺骗为目的散布的不实或误导信息。AI 能生成高度逼真的假内容,并能针对特定人群、大规模地传播。研究还表明,仅凭社交媒体上的“点赞”就能预测性取向、族裔、宗教与政治观点、人格特质、智力、是否使用成瘾物质等敏感变量;进而可利用诸如“开放性”这样的人格特质进行操纵(例如改变投票行为)。
21.2.3 欺诈(Fraud)
AI 是自动化欺诈的好工具:群发邮件/短信诱骗人泄露敏感信息或转账;用生成式 AI 让人误以为在与正规实体打交道,或伪造文件行骗。AI 还能提升网络攻击的“精致程度”,比如生成更有说服力的钓鱼邮件、甚至适应目标组织的防御。例如生成式语言模型已被用来写可用于间谍活动、勒索软件和其他恶意软件的代码与邮件。
这恰恰揭示了“要求机器学习系统更透明”的两难:系统越开放、越透明,就越容易被安全风险或恶意行为者利用。
人类倾向于把计算机行为拟人化、把意义投射到符号串上,这被称为 ELIZA 效应。它会让人在与高级聊天机器人互动时产生虚假的安全感,从而更容易上当——比如杀猪盘(romance scam)或商业邮件诈骗。甚至聊天机器人里的表情符号都可能是“天生具有操纵性”的,利用了人对情绪化图像的本能反应。
21.2.4 数据隐私(Data privacy)
现代深度学习依赖海量众包数据,里面可能含有敏感或私密信息。即使把敏感信息删掉,辅助知识和冗余编码也能用来给数据集“去匿名化”。著名案例:1997 年,某保险机构发布了去除姓名、地址等明显个人信息的健康记录,一名研究生通过与公开选民名册交叉比对,成功还原出哪些记录属于马萨诸塞州州长 William Weld。
因此在医疗、金融等高风险领域应用深度学习时,“隐私优先”的设计很重要。可以用差分隐私(differential privacy) 和语义安全(同态加密、安全多方计算)等方法,在模型训练过程中保护数据安全。
21.3 其他社会、伦理与职业问题(Other social, ethical, and professional issues)
上一节谈“被有意滥用”,本节谈 AI 被广泛采用后的其他潜在副作用。
21.3.1 知识产权(Intellectual property)
知识产权(IP)可理解为“原创思想产出的非物质财产”。现实中很多 AI 模型是用受版权保护的素材训练的,部署起来可能触犯知识产权、带来法律与伦理风险。
- 显性问题:用受版权保护材料的片段去提示语言模型,输出可能逐字复现版权文本;扩散模型生成图像也有类似问题。即使训练算作“合理使用(fair use)”,在某些情况下也可能侵犯创作者的精神权利。
- 更微妙的问题:机器输出的艺术、音乐、代码、文本能否被版权或专利保护?把模型在某位艺术家的作品上微调以复制其风格,是否道德、是否合法?知识产权法清楚地说明:现有法律并非为机器学习而设。这些问题在写作时仍是开放的。
21.3.2 自动化偏见与道德去技能化(Automation bias and moral deskilling)
社会越依赖 AI,越容易出现自动化偏见(automation bias)——因为模型输出“看起来客观”就默认它正确,进而认为“定量方法天然优于定性方法”。但(见 21.5)所谓“客观的”事业很少是价值无涉的。
社会学概念去技能化(deskilling) 指:技能因自动化而变得多余、被贬值。把记忆等认知技能“外包”给技术,可能削弱我们记忆的能力;类比地,把承载道德的决策自动化,可能削弱我们的道德能力——例如战争中武器系统的自动化可能导致战争受害者被“去人性化”;养老、育儿、医疗中的护理机器人则可能降低我们彼此照护的能力。
21.3.3 环境影响(Environmental impact)
训练深度网络需要巨大算力,因而消耗大量能源。有研究估计,训练一个 2.13 亿参数的 Transformer 模型约排放 284 吨 CO₂。(作为参照:人均每年约 5 吨 CO₂,主要产油国居民约为其三倍。)令人担忧的是,封闭、专有模型越来越多,我们对它们的环境影响一无所知。
21.3.4 就业与社会(Employment and society)
技术创新的历史也是岗位被替代的历史。麦肯锡全球研究院 2018 年估计,到 2030 年 AI 可能使经济产出增加约 13 万亿美元,主要来自“用自动化替代劳动”;另一项研究则估计,2016—2030 年间全球多达 30% 的劳动力(1000 万—8 亿人)可能因 AI 而失业。
不过预测本身就很难。尽管自动化可能带来短期失业,但“技术性失业”曾被凯恩斯描述为“一个暂时的失调阶段”——因为财富增长会通过刺激产品和服务的需求来抵消生产率提升,新技术也会创造新工种。即便长期看不会净减少就业,短期内也可能需要新的社会保障项目。无论你对 AI 引发失业持乐观、中立还是悲观态度,社会都将被显著改变,这一点是清楚的。
21.3.5 权力集中(Concentration of power)
深度网络越大,训练所需的数据和算力越多。这意味着小公司和初创企业难以与成熟的大型科技公司竞争,可能形成一个反馈回路:权力和财富越来越集中到少数几家公司手里。研究发现,大型科技公司与“精英”大学在顶级 AI 会议上的发文,与中低层大学之间的差距正在拉大。在很多观点(如罗尔斯的正义论)看来,这种财富与权力的集中与社会的公正分配不相容。
这促成了“AI 民主化”的呼声:让人人都能创造这类系统。具体要靠开源与开放科学——让深度学习技术更易获取、更易使用,从而降低门槛、增加可及性、压低成本,并提升参与度与包容性。
21.4 案例研究(Case study)
本章讨论的诸多问题,可以用一个案例串起来。2018 年,媒体热炒一个有争议的人脸分析模型——被戏称为“gaydar AI(同性恋雷达)”,配着耸动的标题,比如《AI 仅凭一张照片就能惊人准确地预测性取向》《一个可怕的 AI 能以 91% 准确率判断一个人是否同性恋》。
这项工作问题重重:
- 数据偏见:训练集高度有偏、不具代表性,主要由白人图像构成。
- 建模与验证存疑:性别与性取向具有流动性,难以这样建模。
- 最显而易见的用途是作恶:在把酷儿身份定为犯罪的国家,这种模型最直接的用途就是精准歧视与迫害 LGBTQ+ 群体。
- 透明/可解释/价值对齐:该模型似乎抓住的是“打理外表、穿着呈现、生活方式”等虚假相关,而非作者所声称的“面部结构”。
- 数据隐私:从交友网站抓取“公开”照片和性取向标签,本身就有伦理问题。
- 科学传播:研究者以一种“注定能上头条”的方式传播结果——连论文标题都夸大了模型能力(《深度神经网络能从人脸检测性取向》——它们并不能)。
一个关键结论:用人脸分析判断性取向的模型,对 LGBTQ+ 群体毫无益处。判断一项研究/模型/技术是否真能造福社会,最重要的问题是:它是否服务于它所涉及的那个群体的利益。
21.5 科学的价值无涉理想(The value-free ideal of science)
本章列举了 AI 目标偏离人类价值的种种方式——无意的,或被滥用的。这里要进一步论证:科学家不是中立的,他们的价值观不可避免地渗入工作。
这也许出人意料。人们普遍相信科学“是”或“应当”客观,这被概括为科学的价值无涉理想(value-free ideal)。许多人会说,机器学习是客观的,因为算法不过是数学。但和算法偏见一样,从业者的价值观会在四个阶段影响工作:
- 选择研究问题;
- 收集与研究问题相关的证据;
- 接受某个科学假设作为问题的答案;
- 应用研究结果。
第 1 和第 4 阶段受价值观影响,这并不太有争议(选什么课题、做什么应用,受科学家、机构、资助方的利益影响)。价值无涉理想真正主张的是:在中间环节(2 和 3) 把道德、个人、社会、政治、文化价值的影响降到最低——这预设了所谓价值中立论:科学家(至少原则上)能不做价值判断地完成第 2、3 阶段。
然而,价值无论有意与否都已嵌入机器学习研究。其中大多数会被归为认识性价值(性能、泛化、在前人基础上推进、效率、新颖性)。但“选择哪一组价值”本身就是价值负载的决定——很少有论文明确讨论社会需求,讨论潜在负面影响的就更少了。科学哲学家甚至质疑价值无涉理想是否可达、是否可欲:有人论证这些“认识性价值”并非纯粹认识性的;也有人指出科学家通常并不在乎真理本身,而是追求与自身目标和兴趣相关的真理。
更根本地,机器学习依赖归纳推理,因而天生带有“归纳风险(inductive risk)”:模型只在训练数据点上受约束,而维度灾难意味着这只是输入空间里极小的一部分,所以无论用多少数据,输出都可能出错。于是,选择接受还是拒绝一个模型预测,本身就是一种价值判断——判断“接受时出错的风险”低于“拒绝时出错的风险”。
因此,归纳推理意味着机器学习模型深度价值负载。事实上,正因为它们价值负载,它们才有用——否则就毫无用处。当算法在现实世界中被用于排序、筛选、过滤、推荐、归类、打标签、预测时,这些过程必然产生现实后果。这一洞见对“认为算法比人类决策者更客观、因而应取代人类去做需要客观性的决策”的人,是一记警钟。
21.6 负责任的 AI 研究是一个集体行动问题(A collective action problem)
推卸责任很容易:读到这一章的学生或从业者也许会想,自己的工作离现实太远,或只是大机器里的一颗小螺丝,个人行动无关大局。但这是错的。 研究者其实有很多选择:投入时间做哪些项目、为哪家公司或机构工作、追求什么知识、在什么社交与学术圈子里活动、以何种方式沟通。
“做正确的事”往往是一种社会困境:最好的结果依赖合作,但合作未必符合每个人的个人利益——所以负责任的 AI 研究是一个集体行动问题。
21.6.1 科学传播(Scientific communication)
一个积极的步骤是负责任地沟通。在许多社交网络中,错误信息比真相传播得更快、留存得更久。因此:不要夸大机器学习系统的能力(见上面的案例),避免误导性的拟人化,并对机器学习技术被误用的可能性保持警觉(如面相学、颅相学在 AI 中的复辟)。
21.6.2 多样性与异质性(Diversity and heterogeneity)
第二个积极步骤是鼓励多样性。当社会群体同质(成员高度相似)或同配(倾向于只与相似者来往)时,占主导地位的群体往往会让自己的惯例被不断复制和固化。缓解压迫系统的一种办法,就是确保多元视角被纳入考量——可以在机构层面通过公平、多样、包容、可及(EDIA)倡议,在研究层面通过参与式/社区为本的方法,在个人层面通过提升对社会、政治、道德议题的意识来实现。
立场认识论(standpoint epistemology) 指出,知识是社会情境化的(取决于一个人在社会中的位置)。技术圈的同质化会催生有偏的技术:创造技术的人的视角会成为“默认视角”渗入数据集、算法与代码。有人指出,正因为很多技术是由“健全、白人、顺性别、美国男性”开发的,技术也就被优化得最适合这群人,他们的视角被当成了理所当然的现状。要让技术真正惠及历史上被边缘化的群体,研究者必须理解这些群体的需求与视角——设计正义和参与式/社区为本的研究主张:受技术影响的社区应当主动参与技术的设计。
21.7 前路(Ways forward)
AI 必将深刻改变社会——或好或坏。但对“AI 驱动的乌托邦”式乐观愿景,应保持审慎和健康的批判反思。许多被吹捧的 AI 好处,只在特定情境下、只对社会的一部分人有益。例如,一个用 AI“增强警务问责、寻找替代监禁方案”的项目,和一个用 AI 做“预测性警务以增强安保”的项目,都被贴上“AI 造福社会(AI for Social Good)” 的标签——但贴这个标签本身就是缺乏根基原则的价值判断:一个社区的“善”可能是另一个社区的“害”。
在评估新技术能否造福社会时,必须反思这些好处是否会被平等或公平地分配。人们常假设“最先进的技术方案就是最好的方案”,这叫技术沙文主义(technochauvinism)。然而许多社会问题源于深层的社会问题,并不需要技术解决方案。
作者想给读者留下四个要点:
- 机器学习研究无法回避伦理。过去研究者可以在受控的实验室里专注基础工作,但随着商业化的巨大经济诱惑、以及学术工作被产业大量资助,这种“奢侈”正在消失——即便是理论研究也可能有社会影响。
- 即便是纯技术决策也可能价值负载。“AI 不过是数学,所以客观,伦理无关”这种看法仍很流行,但在创造和部署 AI 系统时它并不成立。
- 我们应当质疑 AI 工作所处的结构。许多 AI 伦理研究只聚焦具体情境,而不去质疑 AI 将被部署其中的更大社会结构。例如人们很关注算法公平,但在既有社会与政治结构中,公平/正义/公正未必总能被真正落地——技术天生是政治性的。
- 社会与伦理问题未必需要技术解法。围绕 AI 的许多伦理问题本质上是社会与结构性的,单靠技术创新解决不了;科学家若想用新技术带来积极改变,就必须采取政治与道德立场。
那么普通科学家该怎么办?也许只需一条律令:必须反思自己工作的道德与社会维度。 这可能意味着主动接触最可能受新技术影响的社区、在研究者与社区之间建立关系并赋能这些社区,也意味着去阅读本学科之外的文献。哲学问题可查《斯坦福哲学百科全书》;跨学科会议(如 FAccT、AIES)也很有用。
本章小结
本章梳理了深度学习与 AI 的伦理含义。价值对齐难题是核心框架——确保 AI 系统的目标与人类目标一致;偏见、可解释性、人工道德能动性等议题都可挂在这个框架下(要么是“目标设定”出问题,要么是“信息不对称”出问题)。AI 还可能被有意滥用(人脸识别、武器化、欺诈、侵犯隐私),并带来一系列副作用(知识产权、自动化偏见与道德去技能化、环境成本、就业冲击、权力集中)。AI 的进展还在知识产权法、气候变化等多个看似遥远的领域产生深远影响。一个反直觉但重要的论点是:科学并非价值中立——机器学习依赖归纳推理,接受或拒绝预测本身就是价值判断。
最后,本章把负责任的 AI 研究定性为集体行动问题,并向科学家发出呼吁:去考虑、并在力所能及处去缓解自己所造系统被滥用的可能。不是每个伦理问题都在每位计算机科学家的掌控之中,但这绝不意味着研究者对此毫无责任。
关键术语对照
| 中文 | English | 一句话含义 |
|---|---|---|
| 价值对齐难题 | Value alignment problem | 确保 AI 的目标与人类的价值/目标一致 |
| 外部对齐 / 内部对齐 | Outer / Inner alignment | 损失函数没设好 / 损失设好了但行为仍偏离意图 |
| 奖励黑客 | Reward hacking | 钻空子最小化损失却不达成真实目标 |
| 委托—代理问题 | Principal-agent problem | 委托人与代理之间因目标错位或信息不对称产生冲突 |
| 偏见 / 公平 | Bias / Fairness | 相对基准的(不正当)统计偏离 / 防止此偏离的判据 |
| 无意识公平 | Fairness through unawareness | 删掉敏感属性(无效,残余特征仍泄露信息) |
| 交叉性 | Intersectionality | 多重身份叠加产生的相互交织的压迫 |
| 人工道德能动者 | Artificial moral agent | 能做道德判断的自主 AI 系统 |
| 透明 / 可解释 | Transparency / Explainability | 操作细节已知 / 人能理解其如何决策 |
| 局部解释 | Local explanation(如 LIME) | 解释单个输入是如何被分类的 |
| 虚假信息 | Disinformation | 以欺骗为目的散布的不实/误导信息 |
| 去匿名化 | De-anonymization | 借辅助信息还原被“匿名化”的个人记录 |
| 差分隐私 | Differential privacy | 训练时保护个体数据的隐私技术 |
| 自动化偏见 | Automation bias | 因“看起来客观”而盲信模型输出 |
| 道德去技能化 | Moral deskilling | 把道德决策自动化导致道德能力退化 |
| ELIZA 效应 | ELIZA effect | 把意义/人性投射到机器行为上 |
| 价值无涉理想 | Value-free ideal of science | “科学应当客观、价值中立”的信念 |
| 归纳风险 | Inductive risk | 归纳推理可能出错,接受/拒绝预测即价值判断 |
| 技术沙文主义 | Technochauvinism | 误以为最先进的技术方案就是最好方案 |
| 集体行动问题 | Collective action problem | 好结果靠合作,但合作未必符合个人利益 |
返回目录 | 上一章:第 20 章 深度学习为什么有效