可信 AI 七项要求：技术、数据与治理方法

从原则走向可以实施的要求

本文是《可信 AI 伦理指南》2019 年版第二章中文译文，对应印刷页 14至23。前一章提出尊重人的自主性、防止伤害、公平和可阐释性；本章把它们转成七项要求，再说明技术与组织方法。文中的历史政策、标准和研究进展反映 2019 年原版语境。

前章另有一项贯穿后文的提醒：AI 虽能带来重大益处，也会产生难以预见、识别和衡量的风险，例如对民主、法治、分配正义和人的心智的影响。应采取与风险程度相称的缓解措施。

七项要求由谁落实

这些要求适用于整个生命周期中的不同利益相关者。开发者指研究、设计或开发 AI 的人；部署者指在业务流程中使用 AI，或用它向他人提供产品和服务的公共或私人组织；最终使用者指直接或间接与系统互动的人；更广泛的社会则包括其余直接或间接受影响者。

开发者应把要求落实到设计和开发流程；部署者应确保使用的系统及提供的产品服务符合要求；最终使用者和更广泛社会应知道这些要求，并能够要求它们得到遵守。

以下要求涵盖系统、个人和社会层面，但并不穷尽一切。它们同等重要，彼此支持，应在整个生命周期内持续实施和评估；排列次序不表示等级。具体实施还要考虑领域、用途、相互冲突及影响程度。虽然大部分要求适用于所有 AI，对直接或间接影响人的系统尤其应关注；在某些工业应用中，个别要求的相关性可能较小。

查看图解文字说明

七项要求同等重要，彼此支持而且可能存在需要处理的张力。开发、部署、使用及后续改进时都需实施和评估，具体措施按领域、用途与潜在风险调整。编号用于对应原文，并不表示先完成一项才轮到下一项。

部分要求已体现于现行法律。实践者仍有责任遵守适用的一般法律及领域法规；本章不取代这些义务。

一、人的能动性与监督

根据尊重人的自主性原则，AI 应支持人的自主和决策，支持使用者的能动性、基本权利及人的监督，从而帮助形成民主、繁荣、公平的社会。

基本权利

AI 既能促进，也能妨碍基本权利。例如，它可帮助人追踪个人数据、提高教育的可及性，支持受教育权；但其影响范围与能力也可能损害权利。

存在这类风险时，应在系统开发前开展基本权利影响评估，判断风险能否减少；如果限制权利，要评估其能否以民主社会中保护他人权利与自由所需的必要性得到正当化。同时，应建立接收外部反馈的机制，使潜在权利侵害能够被提出。

人的能动性

使用者应能够就 AI 作出知情、自主的决定。他们需要知识和工具，充分理解并与系统互动，并在可能时合理评估或质疑系统。系统应帮助人依据自身目标作出更好、更知情的选择。

某些系统会借助难以察觉的机制影响行为，甚至利用潜意识过程，进行不公平操纵、欺骗、驱赶或行为塑造，威胁个人自主。因此，使用者自主应处于系统功能的中心。

一个关键事项，是不受仅基于自动化处理、且产生法律效果或类似重大影响的决定所支配的权利。原文在此指向 GDPR 第 22 条；具体适用条件和例外应查原法规，不能将这句话理解成对所有自动化的一概禁止。

人的监督

监督可帮助防止 AI 削弱自主或产生其他不利影响，治理机制可采用三种方式：

也必须确保公共执法机关能按职责进行监督。监督强度应根据应用与潜在风险，配合其他安全和控制措施。同等条件下，人能够实施的监督越少，就越需要广泛测试和严格治理。

二、技术稳健性与安全

技术稳健性与防止伤害紧密相关。系统开发应采取预防风险的方法，可靠地按预期运行，尽量减少无意、意外伤害，防止不可接受的伤害。这也适用于运行环境变化，以及人或人工代理以对抗方式与系统互动的情形。人的身心完整须受到保障。

抵御攻击与安全防护

像其他软件一样，AI 应避免可被攻击者利用的漏洞。攻击可能针对数据，例如数据投毒；针对模型，例如模型泄漏；也可能针对软件或硬件基础设施。对抗攻击会改变数据、系统行为与决定，甚至使系统完全停止。

恶意行为或非预期情况都可能损坏系统和数据；安全流程不足也会产生错误决定，甚至身体伤害。要认为一个系统具备安全性，就应考虑非预期用途、军民两用等双重用途，以及恶意滥用，并采取防范和缓解措施。

研究应形成理解攻击、开发防护、改进评估方法的良性循环，促进 AI 与安全领域交流。相关各方还应共同建立跨境安全规范与互信环境，促进国际合作。

后备方案与一般安全

系统应有出现问题时启用的后备方案。例如从统计方法切换为规则方法，或在继续行动前请求人工介入。同时要考虑无法立即获得人工介入的情况。

系统应完成预定任务而不伤害生命或环境，尽量减少非预期后果与错误。不同应用领域需要建立识别、澄清和评估风险的流程。防护强度取决于风险，风险又与系统能力有关；如果开发过程或系统本身可预见地具有特别高的风险，应提前开发和测试安全措施。

准确性

准确性指系统作出正确判断的能力，例如正确分类信息，或根据数据和模型作出正确预测、建议、决定。明确、完善的开发与评估流程，有助于发现、缓解和纠正不准确预测带来的意外风险。

若偶尔预测错误不可避免，系统应能说明出错的可能性。直接影响人的生命时，高准确性尤其关键。

可靠性与可复现性

可靠的系统能在不同输入和情境中适当工作。这对于审查系统、防止意外伤害十分重要。可复现性指同一实验在相同条件下重复时，能否表现出相同行为，帮助研究者与政策制定者准确描述系统。

复现文件可以记录并重现从研究、最初数据收集到最终结果的各个开发步骤，方便测试和复现。

三、隐私与数据治理

隐私是特别容易受到 AI 影响的基本权利，与防止伤害密切相关。保护隐私需要适当的数据治理，涵盖数据质量、完整性、对部署领域的相关性、访问协议，以及以保护隐私的方式处理数据的能力。

隐私与数据保护

整个生命周期都应保障隐私与数据保护。这既包括使用者最初提供的信息，也包括交互中形成的关于使用者的信息，例如针对某人的输出、某人对推荐的反应。

数字行为记录不仅可能反映偏好，也可能让系统推断性取向、年龄、性别、宗教或政治观点。若希望人信任数据收集过程，就必须确保所收集数据不会被用于非法或不公平歧视。

数据质量与完整性

数据集质量对系统表现至关重要。收集来的数据可能带有社会形成的偏差、不准确与错误，应在训练前处理。也要保证数据完整性，因为恶意数据可能改变系统行为，持续学习的系统尤其如此。

规划、训练、测试、部署各阶段使用的流程和数据集，都应测试并记录。外购系统也须如此，不能只检查自行开发的系统。

数据访问

处理个人数据的组织应制定访问协议，无论数据主体是不是系统使用者。协议要明确谁能在什么情况下访问。只有具备资格、能力且确有需要的人，才应获得相应访问权限。

四、透明度

透明度与可阐释性紧密相关，涉及数据、系统与商业模式。

可追溯性

应尽可能高标准地记录产生决定的数据与流程，包括数据收集、标注、算法，以及系统本身的决定。这样才能识别错误原因，帮助防止重犯；可追溯性也支持审计和解释。

可解释性

可解释性包括说明技术过程，以及有关人的决定，例如为什么选择某个应用领域。技术上，人应能够理解并追踪 AI 的决定。

有时需要在解释性与准确性之间权衡：增加解释性可能降低准确性，提高准确性也可能牺牲解释性。系统对人的生活有重大影响时，应能够要求适当解释其决策过程。解释应及时，并适合相关人的专业程度，例如普通人、监管者或研究者。

还应解释 AI 在多大程度上影响组织决策、系统设计选择及部署理由，从而实现商业模式透明。

沟通

AI 不应冒充人；人有权知道自己正在与 AI 互动，因此系统应可被识别。在保障基本权利需要时，应允许人选择与人互动。

此外，应按用途适当地向实践者与最终使用者说明能力、准确性及局限，帮助他们形成合理预期。

五、多样性、不歧视与公平

整个生命周期都应促进包容与多样性。这不仅要求考虑并让受影响者参与，也要求通过包容设计确保平等使用与平等待遇。

避免不公平偏差

训练和运行数据可能含有无意的历史偏差、不完整内容或治理问题。延续这些偏差，可能对某些群体产生直接或间接偏见与歧视，加重边缘化。

伤害也可能来自故意利用消费者偏差或不公平竞争，例如串通形成同质价格，或市场不透明。能够识别的歧视性偏差，应尽可能在数据收集阶段去除。

开发方式，包括算法编程本身，也可能带有不公平偏差。应设立监督流程，清楚、透明地分析系统目的、约束、要求和决定。招募来自不同背景、文化与学科的人，可促进多样观点，应予鼓励。

可访问性与通用设计

尤其在面向消费者的应用中，系统应以使用者为中心，使不同年龄、性别、能力和特征的人都能使用产品和服务。残障人士存在于所有社会群体中，技术对他们的可访问性尤为重要。

系统不应采用一种方案适合所有人的思路，而应遵循通用设计原则和适用的无障碍标准，覆盖尽可能广的使用者，使所有人能够公平参与现有及新出现的计算机辅助活动，并使用辅助技术。原文举出 EN 301 549，并联系公共采购中“为所有人设计”的要求及《残疾人权利公约》。

利益相关者参与

应在整个生命周期中咨询直接或间接受影响的人。部署后仍应定期收集反馈，并建立长期参与机制。例如在组织实施 AI 的整个过程中，保障劳动者知情、咨询及参与。

六、社会与环境福祉

依据公平和防止伤害原则，更广泛的社会、其他有感知能力的生命及环境，也应被视为生命周期中的利益相关者。应鼓励可持续性和生态责任，促进用 AI 应对可持续发展目标等全球问题。理想情况下，AI 应使全人类受益，包括未来世代。

可持续、环境友好的 AI

AI 有望帮助应对紧迫社会问题，但实现方式本身也应尽可能环境友好。应评估开发、部署、使用及整个供应链的影响，例如审视训练时的资源和能源消耗，选择危害更小的方案，并鼓励保障全供应链环境友好的措施。

社会影响

在教育、工作、照护、娱乐中广泛接触社交 AI，可能改变我们对社会行动主体的理解、社会关系及依恋。这里的社交 AI 包括通过实体机器人或虚拟化身模拟社交、与人沟通互动的系统，它们可能改变社会文化实践和社会生活结构。

AI 可能增强社交能力，也可能使其退化，进而影响身心福祉。因此必须认真监测和考虑其影响。原文以在人主导的治疗中，机器人辅助自闭症儿童改善社交和沟通能力的研究说明潜在益处，并未声称所有社交 AI 都有这种效果。

社会与民主

除了个人层面，也应评估开发、部署和使用对制度、民主及整体社会的影响。涉及民主过程时尤其需要谨慎，不只包括政策决策，也包括选举情境。

七、问责

问责补充上述要求，与公平紧密相关。需要建立机制，在开发、部署和使用前后，都确保系统及结果有人承担责任并接受问责。

可审计性

应允许评估算法、数据和设计流程，但这不意味着商业模式及知识产权信息始终必须完全公开。内部与外部审计、相关评估报告的可获取性，有助于可信。涉及基本权利，尤其安全关键的应用，应可被独立审计。

尽量减少并报告负面影响

既要能够报告哪些行动或决定促成某项结果，也要能够应对结果的后果。对于直接与间接受影响者，识别、评估、记录并减少潜在负面影响尤其重要。

举报者、非政府组织、工会等在提出合理关切时，应得到适当保护。开发、部署、使用之前及过程中，可以采用红队测试、算法影响评估等方法减少负面影响，且评估应与风险相称。

权衡

要求之间可能冲突，不得不作权衡时，应以理性、系统的方法，在现有技术能力范围内处理。先识别涉及的利益与价值，再明确承认冲突，评估权衡对伦理原则和基本权利的风险。

如果没有伦理上可接受的权衡，就不应以当前形式继续开发、部署或使用。每项权衡决定都应有理由、适当记录；决定者应为作出权衡的方式负责，并不断复查决定是否仍适当，必要时修改系统。

内部或外部伦理及领域专家、伦理委员会，以及对可能受不利影响者的实质咨询，都可帮助识别冲突和寻找解决办法。原文也强调高等教育与研究机构在培养伦理专业人才中的作用。

救济

发生不公正的不利影响时，应预先设有易于获得、足以提供适当救济的机制。人知道出了问题可以获得救济，是信任的重要条件；对脆弱个人和群体尤其需要关注。

实现方法需要持续评估

技术方法与非技术方法都可用于落实要求，覆盖整个生命周期。应持续评估采用的方法，报告实施流程的变动，并说明理由，例如为什么作出某项设计、开发或部署选择。

系统不断演进，也在动态环境中行动，所以可信 AI 是连续过程。原文图 3 先将权利、原则和价值转成要求，再用技术与非技术方法落实；随后进入“开发、使用、分析、再设计，再回到开发”的循环，以持续评价和说明理由为中心。不能在发布前检查一次后便视为完成。

以下方法可互补，也可在特定情况下相互替代。不同要求与敏感程度可能需要不同实现方式。这份列表既不完整，也不是强制清单；方法的成熟度也不相同，有些在 2019 年已经可用，有些仍需研究。

技术方法

将可信要求写入系统架构

应把要求转成流程或对流程的约束，嵌入架构。例如规定始终遵循的允许行为或状态、绝不能突破的禁止行为或状态，或将两者结合，甚至采用可证明的复杂行为保证。独立流程可在运行中监测系统是否遵守约束。

会学习并动态调整行为的系统，可以被视为可能出现非预期行为的非确定性系统。若借助“感知、规划和行动”周期理解，应在三个阶段都加入要求：感知时识别遵守要求所需的环境要素；规划时只考虑符合要求的计划；行动时将行为限制在实现要求的范围。

这个架构只是一般性、并不完全准确的描述，但它为约束与政策提供了可以落入具体模块的锚点，帮助整个系统变得可信，并被感知为可信。

从设计阶段融入伦理与法治

价值融入设计的方法，在抽象原则与具体实现决定之间建立明确联系。其关键想法是，把遵守规范落实到系统设计中。企业应从最初识别影响，以及避免负面影响所需遵循的规范。

隐私保护设计、安全设计等已是常用思路。要获得信任，系统的流程、数据、结果都应安全，能够抵御对抗数据与攻击；还应有安全停机机制，并能在攻击等强制停机后恢复运行。

解释方法

为了信任系统，需要理解它为什么这样行动、为什么给出某种解读。可解释 AI（XAI）研究试图理解底层机制、寻找解决方法。

2019 年原文指出，对神经网络而言这仍是开放挑战：训练所得数值参数难与结果建立直观联系，数据微小变化有时会造成解读剧变，例如把接送学生的巴士误识为鸵鸟；攻击者也能利用这种脆弱性。解释研究不仅帮助向使用者说明行为，也关系到可靠部署。

测试与验证

AI 的非确定性和情境依赖，使传统测试不足。系统采用的概念或表示可能只有在足够真实的数据中才暴露问题。应在训练和部署期间监测底层模型，确认稳定性、稳健性，以及运行是否处于已理解、可预测的边界内；规划结果应与输入一致，决定方式应允许验证底层过程。

应尽早开始测试，贯穿整个生命周期，尤其不能忽略部署之后；范围包括数据、预训练模型、环境及整体行为。测试应由尽可能多样的人设计和执行，采用多种指标，从不同角度覆盖不同类别。

可考虑让可信且多样的红队刻意尝试破坏系统以发现漏洞，或通过漏洞奖励，鼓励外部人员发现并负责任地报告错误与弱点。最后，要检查输出或行动是否与前面的处理结果一致，并与预定政策比较，确保没有违反约束。

服务质量指标

可设适当指标，帮助形成系统是否在开发和测试中充分考虑安全的基础认识。指标可评估算法训练与测试，也可采用传统软件的功能、性能、易用性、可靠性、安全性、可维护性指标。

非技术方法

监管

支持可信性的法规在当时已存在，例如产品安全法律及责任框架。哪些法规需要修订、调整或引入，兼顾保护与促进作用，是原文配套政策与投资建议所讨论的问题。

行为准则

组织可承诺采用指南，并将可信 AI 写入企业责任章程、关键绩效指标、行为准则或内部政策。开发或使用 AI 的组织可以记录意图，再以基本权利、透明度、防止伤害等价值的标准支持这些意图。

标准化

设计、制造、业务实践等标准可成为质量管理工具，使使用者、消费者、组织、研究机构与政府通过采购认可和鼓励伦理行为。

除了传统标准，还可采用认证认可制度、职业伦理准则、符合基本权利的设计标准等共同治理方法。原文举出 ISO 标准和 IEEE P7000 系列，并讨论未来可信 AI 标签的可能性，以具体技术标准确认安全、技术稳健性、透明度等要求。此处是 2019 年的设想，不能据此宣称某产品已获今天的认证。

认证

无法期待每个人都彻底理解 AI 的运行与影响，因此可考虑由组织向公众证明系统透明、可问责且公平。认证应按领域与技术采用标准，适当地结合各情境的工业和社会规范。

但认证绝不能代替责任，应配合问责框架，包括责任说明、复查及救济机制。

通过治理框架落实问责

组织应建立内部及外部治理框架，确保开发、部署、使用相关决定的伦理责任。例如指定 AI 伦理负责人，或设内部、外部伦理小组，提供监督与建议；认证规范和机构也可发挥作用。

应与行业或公共监督组织保持沟通，分享良好实践、讨论难题、报告新问题。这些机制能补充但不能取代法定监督，例如数据保护法依法要求的数据保护官或同类措施。

通过教育与意识培养伦理思维

可信 AI 鼓励所有利益相关者知情参与。沟通、教育、培训既传播潜在影响的知识，也使人知道自己可以参与塑造社会发展。

对象包括设计与开发者、企业或个人使用者，以及没有购买或使用系统、却被系统作出决定的人和整体社会。应提升全社会基础 AI 素养；向公众提供教育的前提之一，是确保这个领域的伦理专业人员得到适当训练。

利益相关者参与和社会对话

AI 的益处应为所有人所获得，这需要开放讨论，以及社会伙伴、利益相关者和公众参与。许多组织已用利益相关者小组讨论 AI 与数据分析，包括法律、技术、伦理专业人员、消费者代表和劳动者。

主动寻求参与、讨论用途和影响，有助于评估结果及方法，在复杂情形下尤其有用。

多样、包容的设计团队

系统越能独立执行任务，负责设计、开发、测试、维护、部署和采购的团队，就越需要反映使用者及社会的多样性。这有助于客观考虑不同观点、需要与目标。

理想团队不仅在性别、文化、年龄上多样，也在专业背景和技能组合上多样。

下一篇：完整评估问题清单，将要求转成可以逐项追问的实施问题。也可与面向先进系统开发者的广岛 AI 行为准则全文比较。

参考与延伸阅读

原文：Ethics Guidelines for Trustworthy AI，2019 年 4 月 8 日，European Union，印刷页 14至23。欧盟数字战略原文入口。本页为非官方中文翻译，作分篇、术语与版式调整；原图 2 为中文重绘，图 3 的生命周期关系以文字呈现。原文脚注中的实质补充已融入相关段落。

依欧盟再利用说明，原资料采用 CC BY 4.0，本页译文及注明的重绘图按相同许可提供，不表示原机构认可。

原文提及的公开查询入口：GDPR 原文可核对自动化决定、数据保护的适用条件；联合国残疾人权利公约中文文本说明无障碍与平等参与；EN 301 549 标准资料库可查询信息通信技术无障碍标准与相关版本。上述链接帮助查询，不意味着本页已证明任何系统合规。