AI安全是一个高速发展的研究领域。随着各政府、行业界和学术界发现AI技术潜在弱点以及利用这些弱点的技术，除了将传统的IT最佳实践应用于人工智能系统，他们需要不断升级更新AI人工智能系统以应对不断变化的风险。

AI功能的快速采纳、部署和应用使其成为了恶意网络攻击行为的高价值目标。以窃取敏感信息和知识产权获利的攻击者可能寻找机会，利用已部署的AI系统获取更多利益。

恶意攻击者针对AI系统发起攻击时，可能会使用特定攻击向量，以及传统信息技术（IT）攻击手段。由于攻击向量的种类繁多，因此需要采取多样化和全面的防御措施。通常结合多种攻击向量来执行更复杂的操作。这样的组合可以更有效地穿透分层防御。顶级攻击者通常会结合多种攻击向量来执行更复杂的操作，这样的组合可以更有效地穿透层层防御。

企业组织应参考以下最佳实践，以确保安全部署环境、持续保护人工智能系统，并安全地运营和维护人工智能系统。

以下最佳实践与网络安全和基础设施安全局（CISA）、国家标准与技术研究院（NIST）制定的跨部门网络安全绩效目标（CPGs）目标一致。CPGs提供了一套实践和保护措施的最低标准，并建议所有企业组织实施。CISA和NIST基于现有网络安全框架和指南来制定CPGs，防范最常见的和影响大的威胁、战略、技术和程序。访问CISA的跨部门网络安全绩效目标，了解更多关于CPGs的信息，包括其他推荐的基线保护措施。

确保部署环境安全

企业组织通常在现有的IT基础设施基础上部署AI系统。在部署前，应确保IT环境应用了健全的安全原则，例如健全的治理、良好的架构设计和安全配置。例如，确保负责AI系统网络安全的人员与负责组织整体网络安全的人员是同一人 [CPG 1.B]。

针对IT环境安全的最佳实践和要求，同样适用于AI系统。下面最佳实践对于应用于AI系统以及企业组织部署它们的IT环境尤为重要。

部署环境治理

·如果非IT部门的企业组织正在部署或运营AI系统，请与IT服务部门合作，确定部署环境，并确认其符合企业组织的IT标准。

• 了解组织的风险水平，并确保AI系统及其使用在企业组织的整体风险承受范围内，同时也在托管AI系统的特定IT环境的风险承受范围内。评估和记录适用的威胁、潜在影响和风险接受程度。

•  识别每个利益相关者的角色和责任，以及他们如何对这些责任的履行负责；特别是当企业组织将他们的IT环境与AI系统分开管理时，识别这些利益相关者尤为重要。

• 识别IT环境的安全边界，以及AI系统如何适应这些边界。

·要求AI系统的主开发者为其系统提供威胁模型。

• AI系统部署团队应利用威胁模型作为指导，实施安全最佳实践，评估潜在威胁，并计划缓解措施。

· 在开发AI系统产品或服务的合同时，考虑部署环境的安全要求。

· 促进所有参与方的协作文化，特别是数据科学、基础设施和网络安全团队，以便团队合作中能够表达任何风险或担忧，并能够适当地解决这些问题。

确保部署环境架构稳健

·为IT环境和AI系统之间的边界建立安全保护措施 [CPG 2.F]。

·识别并解决威胁模型识别的边界保护和其他安全相关区域的盲点。例如，确保对AI模型权重实施访问控制系统，并限制特权用户的访问，采用双人控制（TPC）和双人完整性（TPI）[CPG 2.E]。

·识别并保护企业组织在AI模型训练或调试中使用的所有专有数据源。在可能的情况下，检查他人训练模型的数据源列表。维护可信和有效数据源的目录，有助于防止潜在的数据中毒或后门攻击。针对从第三方获取的数据，参考CPG 1.G和CPG 1.H的建议，采用合同或服务级别协议（SLA）的规定。

·应用“安全设计”原则和“零信任”（ZT）框架到架构中，管理来自AI系统的风险 

强化部署环境配置

·将现有安全最佳实践应用于部署环境。包括在加固容器或虚拟机（VM）内运行ML模型的环境中使用沙箱 [CPG 2.E]、监控网络 [CPG 2.T]、配置防火墙允许列表 [CPG 2.F]，以及其他最佳实践，例如NSA的云部署的十大风险缓解策略。

·核查硬件供应商的指南和通知（例如，针对GPU、CPU、内存），并应用软件补丁和更新以最小化漏洞利用的风险，最好通过通用安全咨询框架（CSAF）。

·通过对数据加密保护敏感AI信息（例如，AI模型权重、输出和日志），并将加密密钥存储在硬件安全模块（HSM）中，以便按需解密 [CPG 2.L]。

·实施加强身份验证机制、访问控制和安全通信协议，例如，使用最新版本的传输层安全性（TLS）来加密传输中的数据 [CPG 2.K]。

·确保在访问信息和服务的时使用防钓鱼的多因素认证（MFA）。监控并应对欺诈性的认证 [CPG 2.H]。

·了解恶意攻击者是如何利用弱安全控制措的。

保护部署网络免受威胁

·采用零信任（ZT）理念，假定入侵是不可避免的或已经发生。实施检测和响应，使其能够快速识别和控制威胁。

•  使用经过充分测试的、高性能的网络安全解决方案，高效识别未经授权的访问，并增强事件评估的速度和准确性 [CPG 2.G]。

• 集成事故检测系统，帮助优先处理事件 [CPG 3.A]。同时在发生重大事件时，立即阻止被怀疑为恶意的用户访问，或者断开AI模型和系统的所有入站连接。

持续保护AI系统

模型是软件，并且和所有其他软件一样，可能有漏洞、弱点或者恶意代码等。

在使用前验证AI系统

·使用加密方法、数字签名和校验和来确认每个工件的来源和完整性，保护敏感信息免受未经授权的访问。

·对每个AI模型和系统发布的哈希值和加密副本进行归档，存储哈希值和/或加密密钥在安全保险库或HSM内，防止在同一位置访问加密密钥和加密数据和模型。

·将所有形式的代码（例如，源代码、可执行代码、基础设施代码）和工件（例如，模型、参数、配置、数据、测试）存储在具有适当访问控制的版本控制系统中，确保仅使用经过验证的代码，并跟踪任何更改。

·在修改后需要彻底测试AI模型的稳健性、准确性和潜在漏洞。使用对抗性测试等技术评估模型对妥协尝试的恢复能力。

·为自动回滚做好准备，并使用HITL(人在回路)作为故障保护措施，以提高可靠性、效率，并为AI系统实现持续交付。在AI系统的背景下，如果新模型或更新引入问题，或者人工智能系统受到攻击，回滚能力能够确保让企业组织可以快速恢复到上一个已知的良好状态，最小化对用户的影响。

·评估和保护外部AI模型和数据的供应链，确保它们符合企业组织的标准和风险管理政策，并倾向于按照安全设计原则开发的模型。确保对无法符合标准和政策的供应链部分的风险有所了解并接受。

·在企业环境中不要立即运行模型。在考虑将其用于调整、训练和部署之前，仔细检查模型，特别是导入的预训练模型，在安全开发区内使用组织批准的AI特定扫描工具（如有）检测潜在的恶意代码，确保模型有效性。

·考虑自动化检测、分析和响应能力，通过提供洞察，让IT和安全团队能够快速、有针对性地应对潜在的网络事件，更加高效。持续扫描AI模型及其托管的IT环境，识别可能的篡改。

• 在考虑使用其他AI功能来提高自动化效率时，要谨慎权衡风险和收益，并确保在必要时有HITL。

保护暴露的API

·如果AI系统暴露了应用程序编程接口（API），则需通过实施身份验证和授权机制来保护它们。使用安全协议，例如带有加密和身份验证的HTTPS [CPG 2.C, 2.D, 2.G, 2.H]。

·对所有输入数据实施验证和清理协议，减少不希望的、可疑的、不兼容的或恶意的输入传递到AI系统的风险（例如，注入攻击）。

主动监控模型行为

·收集日志用于覆盖输入、输出、中间状态和错误；实现自动化警报和触发器 [CPG 2.T]。

·监控模型的架构和配置设置，发现任何未经授权的更改或意外的修改，这些可能会影响模型的性能或安全性。

·监控试图访问或想从AI模型中获取数据或聚合推理响应的行为。

保护模型权重

· 强化访问模型权重的接口，增加泄露权重的难度。例如，确保API仅返回执行任务所需的最少数据，阻止模型反转。

·在可行的情况下，实施硬件保护措施来储存模型权重。例如，禁用不必要的硬件通信功能，并保护免受辐射或旁道技术的侵害。

·主动隔离存储模型权重。例如，在受保护的存储保险库中存储模型权重，在高度限制的区域（HRZ）（即独立的异地专用存储空间）中存储模型权重，或者使用HSM [CPG 2.L]。

确保AI运维安全

遵循组织批准的IT流程和程序，用符合规定的方式部署AI系统，确保实施以下控制措施。

强制执行严格的访问控制

·防止未授权访问或篡改AI模型。应用基于角色的访问控制（RBAC），或在可行的情况下使用基于属性的访问控制（ABAC），限制仅授权人员的访问。

• 区分用户和管理员。对管理员访问要求多因素身份验证（MFA）和特权访问工作站（PAWs）[CPG 2.H]。

用户意识与培训

·为用户、管理员和开发人员提供关于安全最佳实践的培训，例如强密码管理、钓鱼防范和安全数据处理。促进安全意识文化，最小化人为错的风险。若有可能，使用凭证管理系统限制、管理和监控凭证的使用，从而进一步降低风险[CPG 2.I]。

进行审计和渗透测试

·聘请外部安全专家对准备部署的AI系统进行审计和渗透测试。这有助于发现内部有可能被忽视的漏洞和弱点。

实施强健的日志记录和监控

·使用强健的监控和日志记录机制监视系统的行为、输入和输出，检测任何异常行为或潜在的安全事件[CPG 3.A]。注意数据漂移或高频率、重复的输入（因为这可能是模型被篡改或自动化攻击尝试的迹象）。

·建立警报系统，通知管理员可能存在的预测性攻击尝试、安全漏洞或异常情况。及时检测和应对网络事件对保护AI系统至关重要。

定期更新和打补丁

·当将模型更新到新的/不同版本时，在重新部署前进行全面评估，确保准确性、性能和安全性测试在可接受范围内。

高可用性（HA）和灾难恢复（DR）

·根据系统的要求，使用不可变备份存储系统，确保每个对象（尤其是日志数据）都是不可变的，不能被更改[CPG 2.R]。

安全的删除能力

·在数据和模型被暴露或可访问的任何过程完成后，执行自主的、不可恢复的删除程序，如训练和验证模型或加密密钥，不保留或留下任何残留。

结论

本报告的撰写机构针对部署AI系统的企业组织建议实施强壮的安全措施，这些措施既能防止敏感数据被窃取，又能减少AI系统的滥用。例如，模型权重（深度神经网络的可学习参数）是特别关键的组件需要保护。它们独特地代表了训练训练先进AI模型所需的许多昂贵和具有挑战性的先决条件，包括重要的计算资源，收集、处理相对敏感的训练数据，以及算法优化。

人工智能系统是软件系统。因此，部署的企业组织应首选那些在设计时就考虑了安全性的系统，选择那些设计者和开发人员对系统运行时安全结果感兴趣的AI系统。

尽管全面实施针对所有相关攻击向量的安全措施对于避免重大安全漏洞是必要的，并且随着AI领域和技术的发展，最佳实践也将发生变化，但以下总结了一些特别重要的措施：

• 对所有使用特权访问或执行关键服务的设备进行持续的威胁评估。

• 加固和更新IT部署环境。

• 审查AI模型的来源和供应链安全。

• 在部署前验证AI系统。

• 强制执行严格的访问控制和API安全，采用最小权限和深度防御理念。

• 使用强健的日志记录、监控和用户与实体行为分析（UEBA）来识别内部威胁和其他恶意活动。

• 限制并保护对模型权重的访问，因为它们是AI系统的核心。

• 持续关注当前和新兴威胁，特别是在高速发展的人工智能领域，并确保AI系统经过加固，避免安全漏洞和薄弱点。

最后总结，保护AI系统安全是一个持续的过程，包括识别风险、实施适当的缓解措施，并监控问题。通过采取本报告中概述的步骤来确保AI系统的部署和运行，企业组织能够显著降低涉及的风险。这些步骤有助于保护企业组织的知识产权、模型，并且数据免受窃取或滥用。从一开始就实施这些最佳安全实践，为企业组织成功部署AI系统奠定正确道路。

---

文章来源：https://media.defense.gov/2024/Apr/15/2003439257/-1/-1/0/CSI-DEPLOYING-AI-SYSTEMS-SECURELY.PDF

本文翻译来自CSA翻译组：

翻译：张彬，CSA大中华区专家

审校：张淼，CSA翻译组轮席组长