微软AI红队：保护AI世界的壁垒与使命

周一，微软披露自2018年起，便组建了一个内部团队，致力于探索如何攻击AI平台，以揭示其弱点。

在过去五年中，微软的AI红队已从一个实验性项目发展成一个跨学科团队，团队成员包括机器学习专家、网络安全研究人员甚至社会工程师。该团队努力使用传统的数字安全术语传达其发现，以便于在微软内部和整个科技行业传播，无需过多专业的AI知识。然而，实际上，他们得出结论认为，AI安全与传统的数字防御存在重要的概念差异，因此AI红队在其工作方式上需要有所不同。

微软AI红队的创始人Ram Shankar Siva Kumar表示：“起初，问题是，‘你要做什么不同的事情？为什么需要一个AI红队？’” 他解释道：“但是，如果将AI红队视为传统红队的延伸，如果仅考虑安全性，那可能是不够的。我们现在必须关注负责任的AI，也就是AI系统失败的责任，包括生成攻击性内容和毫无根据的内容。这是AI红队的追求。我们不仅关注安全性的失败，还关注负责任的AI失败。”

Shankar Siva Kumar指出，需要一段时间才能明确这种区别，并强调AI红队的使命确实具有这两重重点。早期的工作主要与发布更传统的安全工具相关，例如与非营利研发组织MITRE以及其他研究人员合作推出的对抗性机器学习威胁矩阵。在2020年，该团队还开源了名为微软Counterfit的AI安全测试自动化工具。而在2021年，红队发布了一个额外的AI安全风险评估框架。

然而，随着时间推移，解决机器学习缺陷和失败的迫切性变得更加明显，AI红队也在发展和扩展。

微软的AI红队不仅研究当前正在野外使用的攻击，Shankar Siva Kumar表示，团队还专注于预测攻击趋势的发展方向。这通常涉及到强调红队使命中较新的AI问责性方面。当他们在某个应用程序或软件系统中发现传统的漏洞时，他们通常会与微软内部的其他团队合作进行修复，而不是花费时间完全开发和提出自己的修复方案。Shankar Siva Kumar说：“在微软内部，还有其他红队和Windows基础设施专家，或者我们所需的任何资源。对我来说，洞察力意味着AI红队不仅关注安全性失败，还关注负责任的AI失败。”