AI-人工智能的信息安全问题和解决框架

崔

AI，人工智能，这一两年发展迅猛，各大计算机领域的公司，包括OpenAI，Google, Microsoft，IBM等巨头们， 在AI领域都投入巨大的研发经费和资金。

然而，任何事物的发展，都具有两面性。AI技术在黑客或者计算机犯罪方面的问题，包括Theft, Social Engineering, Fakes, Malware, Data Leakage 等，也日渐增加。笔者最近参加了关于AI安全问题的一个讲座， 收集和整理这个方面的一些新观点和信息， 分享一下！

AI安全领域非常新，没有成熟到标准和认证，就如几年前的云技术，大数据一样，估计未来几年内， AI方面的安全标准和认证，也会出现！

IBM 有AI工程师的认证，仅供大家参考，IBM AI Engineering Professional Certificate。The certificate is based on 6 modules, including python, spark, keras, tensorflow, pytorch, and a capstone project.

人工智能，可以分为三个层次：

第一层次： Machine Learning, 机器学习。机器学习（ML）是人工智能（AI）和计算机科学的一个分支，专注于使用数据和算法使人工智能模仿人类的学习方式，逐步提高其准确性。

第二个层次：Deep Learning, 深度学习。深度学习是人工智能 (AI) 中的一种方法，它教会计算机以受人脑启发的方式处理数据。深度学习模型可以识别图片、文本、声音和其他数据中的复杂模式，从而产生准确的见解和预测。

第三个层次：Foundation Model Learning, 模型学习。学习模型是学习理论的具体应用或表现形式。因此，它更加具体和实用。它通常包含清晰的理论原则或用于设计和提供学习体验的结构化框架。模型中的四种核心学习风格包括视觉、听觉、阅读和写作以及动觉。

我们普通意义上的AI， 主要是在这个层面。

人工智能的分类：

第一类：Generative artificial intelligence (generative AI) - 生成式人工智能。

生成人工智能 (generative AI) 是一种可以创造新内容和想法的人工智能，包括对话、故事、图像、视频和音乐。

第二类：Traditional AI - 传统人工智能。

传统人工智能专注于分析历史数据并做出未来的数字预测，而生成人工智能则允许计算机产生全新的输出，这些输出通常与人类生成的内容难以区分。

生成式人工智能可以创建定制的学习材料，迎合个人的学习风格，并提供实时反馈。OpenAI 对公平性的关注将确保此类人工智能驱动的学习工具不受偏见的影响，并促进平等的教育机会。

如何处理AI技术带来的风险？ 今天整理和收集IBM 在这方面的解决框架。市场上可能还有其他的， 比如微软，NIST， Google， KPMG，等，大家可以参阅。

https://blog.google/technology/safety-security/introducing-googles-secure-ai-framework/

https://www.nist.gov/itl/ai-risk-management-framework

https://kpmg.com/us/en/capabilities-services/advisory-services/cyber-security-services/cyber-strategy-governance/security-framework.html

https://www.microsoft.com/en-us/security/blog/2021/12/09/best-practices-for-ai-security-risk-management/

IBM 关于生成式 AI 安全框架简介

我们必须确保 AI 在每个阶段的安全——包括数据收集和处理、模型开发和训练以及模型推理和使用。因此，组织需要确保数据、模型和模型使用的安全。他们还必须确保构建和运行 AI 模型的基础设施的安全。最后，他们需要建立 AI 治理并监控公平性、偏见和随时间推移的偏差。

第一阶段： 数据收集

在数据收集和处理阶段，您不仅需要收集大量数据来为 AI 模型提供数据，而且还要向许多不同的人提供访问权限，包括数据科学家、工程师、开发人员等。将所有数据集中到一个地方并授予各种利益相关者（其中大多数人没有安全经验）访问权限存在固有风险。

具体的安全措施包括，数据发现和分类、静态和传输加密，密钥管理，身份和访问，管理员工的安全意识。

第二阶段：保护模型

在模型开发过程中，您将以新的方式构建应用程序，这通常涉及引入新的可利用漏洞，攻击者可利用这些漏洞作为进入环境的入口点，进而进入您的 AI 模型。考虑到组织历来都在努力管理其环境中发现的越来越多的已知漏洞，这种风险将延续到 AI。

保护措施包括：

扫描 AI/ML 管道中的漏洞、恶意软件和损坏，发现并强化与第三方模型的 API 和插件集成，围绕 ML 模型、工件和数据集配置强制执行策略、控制和 RBAC，以确保没有任何人或事物可以访问所有数据或所有模型功能。

第三阶段：确保使用安全

在推理和实际使用过程中，攻击者可以操纵提示来突破护栏，并通过对包含偏见、虚假和其他有害信息的有害提示生成不允许的响应来诱使模型行为不当。这可能会给企业造成声誉损害。攻击者还可能试图操纵模型并分析输入/输出对来训练替代模型来模仿目标模型的行为，从而有效地“窃取”其功能并使企业失去竞争优势。

具体保护措施包括：监控恶意输入（例如包含敏感数据或不当内容的即时注入和输出），以及实施新的防御措施，以检测和应对特定于 AI 的攻击（例如数据中毒、模型规避和模型提取）， 另外安全日志的实时监控，也可以防止如上问题。

保护基础设施（比如网络，服务器，电脑，等。）

第一道防线之一是安全的基础设施。应利用现有的专业知识来优化托管 AI 系统的分布式环境中的安全性、隐私和合规性标准。他们必须加强 AI 环境的网络安全、访问控制、数据加密以及入侵检测和预防。他们还应考虑投资专门用于保护 AI 的新安全防御措施。

建立Governance- 监管

管理层设定目标。随着运营业务流程转移给 AI，他们需要确保 AI 系统不会偏离并按预期运行。运营上偏离其设计目的的模型可能会带来与破坏您基础设施的对手相同级别的风险。

总结：

新知识，新技术，带来新的安全挑战。 在不断的创新中，不断的发现问题，找到新的结局方案！ 人工智能技术，能解放更多的人力资源， 也会带来新的就业和机会！

笔者：Simon Cui

April 12，2024年，于列治文山市家中