大语言模型

美国陆军“防御AI”新项目：AI、反AI、反反AI

2024 年 6 月 15 日

）

随着AI技术的不断进步，美军意识到可能要比预期更早地准备对抗自动化机器人军队。近期，美国陆军启动了为期100天的AI风险评估试点项目“防御AI”，旨在确保、强化和改进AI系统，并充分发挥其潜力。

PART.01

焦点：AI的可靠性

虽然美国国防部和军方在AI的使用上非常强调“伦理”以及确保人类在使用致命武力时保持“控制权”，但没人能保证潜在对手也会“守规矩”。这带来了前所未有的潜在风险，国防部对此高度关注，这也是美军着力优化AI、自动化和机器学习在作战行动和武器开发中的应用的原因。

尽管AI的优点已被广泛认可，但还有一个重要悖论不容忽视：AI系统的有效性取决于其数据库，那么当一个先进的AI系统遇到它以前未曾“见过”或处理过的情况时会发生什么？这无疑会带来“误报”或错误分析。为此，人类需要让AI变得更可靠。

在提升AI的可靠性方面，业界已经取得了很大进展。先进的算法现在可以通过分析“上下文”和周围的指标，来识别含义并准确分析看似未知的想法和事物。 例如，算法能够通过评估周围的词语来区分“foot ball”（足球）和“dance ball”（舞会）中意义不同的”ball“，从而准确评估概念框架。AI驱动的“分析”越来越快，下一个目标是开发出一个可以进行接近“实时”分析的系统，并对已知或看似未知的指标做出可靠而准确的判断。

PART.02

美国陆军“防御AI”项目

美国陆军一直在试图解决AI可靠性的问题，并正在推进与之相关的下一步工作——“防御”AI免受攻击。作为首个在其五年预算规划（POM）中规划实际AI项目的军事部门，陆军启动了一个为期100天的AI风险评估试点项目，以强化和改进AI系统，并发挥AI的潜力。

美国陆军副助理部长Young Bang表示，在100天的计划实施之后，还会有一个500天的计划。这个大规模、多层次项目的核心，是激励工业界开发能够整合到陆军和国防部系统中的算法，以支持安全系统和“分层”防御网络。这个项目名为“防御AI”（Defend AI）。

Young Bang解释称，“我们如何帮助工业界更快地采用第三方算法？如果我们开发算法，或者我们要求工业界带着我们的数据集进入我们的安全环境，就需要一个流程。我们意识到，工业界在开发出色的算法方面比陆军或国防部要好得多。我们希望更快地采用这些算法，这样就可以基于风险做出决定，将其放在一个封闭系统中进行自动化处理，以便实际识别我们的已知风险”。

PART.03

路径：AI与人机整合

“防御AI”项目强调整合人类和机器能力的重要性。除了美国国防部关于致命武器的使用要求人类参与的原则外，陆军技术开发人员也认识到，某些高级AI计算无法复制人类意识中的一些关键但更为主观的现象。伦理、直觉、道德、意识、情感，这些只是决策过程中许多独特人类属性中的一部分，对于作战行动和决策而言，它们全都至关重要。数学生成的算法能否复制它们？

上述的变量和问题可能影响了陆军部长克里斯汀·沃莫斯（Christine Wormuth）最近发布的人机界面指令。该指令旨在确定和优化高速机器和人类决策之间的必要平衡。

这种平衡在拯救生命和增强战力的领域中尤其重要。近期，陆军展示了一项突破性技术，使用AI和自动化指令，安全快速地将武器移动到攻击位置，并准备快速射击。陆军武器开发人员称之为“自主多域发射器”（Autonomous Multi-Domain Launcher，简称AML）。陆军方面在一篇关于AML实弹射击的文章中称，这次演习展示了发射器能够从隐藏位置独立移动到发射点、根据指令调整方向并接收来自远程炮手的火控命令的能力。

PART.04

目标：防御AI免受攻击

确保AI系统能够分析、区分、组织和有效传输时间敏感的作战情报至关重要，但陆军也开始考虑如何防御AI免受攻击、欺骗和其他高科技干扰，以避免误报或灾难性的错误。考虑到这一点，陆军的“防御AI”项目会开发可以识别和阻止对AI系统实施攻击或“欺骗”尝试的“反制措施”。通过分析多个变量和指标之间的相互关系可以提高防御的有效性。例如，在识别目标时，除了光电或视觉指示之外，敌方目标可能还存在声音或热特征，这些都是可能影响AI系统免受敌方攻击的因素。总而言之，这一项目关注的不仅是AI，还有“反AI”（counter AI）和“反反AI”（counter to counter AI）。

PART.05

前景：无人干预的AI

美国国防部武器开发人员还在关注另一个重要领域：纯“自主”或“无人干预”AI在纯防御性、非致命目的（如无人机和巡航导弹防御）中的应用前景。其中涉及到很多关键问题，比如：

AI是否应该能够即时确定特定威胁或目标不涉及人类，并可以用非致命武力击败或“拦截”？
在应对来袭导弹、迫击炮、火箭、无人系统或无人机群攻击时，高速处理和AI驱动的防御能否发挥效用？
AI能否准确做出决定？如果出现误报或错误识别怎么办？

未来可能会出现纯粹用于非致命和防御目的的无人干预AI，作为快速应对敌方攻击的一种快速救生方式。正因为上述这些问题悬而未决，美军正在快速推进AI的使用和优化，同时优先考虑伦理规范并防范“意外使用”。尽管AI在军事方面的应用潜力尚未完全展现，但无论何时，优先考虑伦理、原则和安全相关的变量都是“防御AI”的核心理念。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

美国陆军“防御AI”新项目：AI、反AI、反反AI

立即咨询 JOTO

想把这些做法用到你的业务里?

Start your enterprise AI rollout

Tell us what you need