清研智库：详解美国网络安全研究与发展战略的优先研发战略

（接前篇）

为了推进政府2018年国家网络战略和2021财年研发预算优先事项备忘录的目标，应对新出现的或现有的网络安全挑战，需要多机构协调研究，本计划确定了六个优先研发领域。这些联邦网络安全研发优先事项不是唯一需要研发的领域；需要额外的网络安全研发，以实现对特定机构或政府任务重要的能力。如表1所示，优先领域的进展还将加强所有四种防御能力的网络安全。

表1 优先领域及其对网络安全的影响

优先研发战略：人工智能

人工智能对国民经济和安全具有重大的潜在影响；因此，通过利用网络安全实践，保护人工智能技术不被意外使用和恶意利用是至关重要的。人工智能增强的自主系统所带来的新威胁值得认真关注。相反，人工智能技术通过自动化某些常规任务或协助人类系统管理人员，监视、分析和应对网络系统面临的敌对威胁，有望增强网络安全。这个计划强调了人工智能和网络安全的共同需求和好处。

人工智能系统设计应遵循安全、保护和隐私原则。虽然这些原则并不是同义词，事实上可能处于紧张状态，但有一些共同的特点可以使聚合结果得以实现：再现性、责任性、可解释性、可验证性、透明度和可靠性。现有的网络安全概念可能需要重新制定和重新设计，以应对人工智能模型、算法和人类人工智能系统的相互作用。以下是人工智能与网络安全接口的关键问题：

•人工智能对作战速度和规模的影响。

人工智能系统的运行速度和规模超出了人类和当前的技术能力。在人工智能可能驱动恶意活动的领域，这是一个令人担忧的问题，导致攻击者和防御者之间的接触越来越不对称，除非人工智能同样用于网络防御。一般来说，人工智能系统将使网络防御更为复杂和自动化，如果没有实施适当的控制，也可能被用来进行攻击性的恶意活动。

•人工智能的可解释性和透明性。

人工智能系统中使用的推理与人类使用的推理非常不同，对人类来说并不总是直观的。尽管人工智能中使用的一些单独的算法是可以理解的，但是它们的集体行为并不总是可以理解的。因此，很难理解、解释和预测人工智能的输出和结果。评估数据或人工智能算法中的偏差，并在不损害隐私的情况下防范这些潜在偏差，将有助于创建可信的人工智能，同时也将加强人工智能的准确性、弹性、可靠性、客观性和安全性。这就提出了一些问题，比如如何对人工智能系统中的信任进行建模和度量，以及这些系统的部署应该遵循什么样的确定性级别。这是网络安全领域的关注点，例如态势感知、威胁和风险评估管理、隐私风险缓解和资源分配。

•具有人工智能组件的系统的脆弱性。

许多机器学习（ML）算法在其整个生命周期中都会受到攻击。以下类型的攻击可以在任何阶段发生：毒害数据集以降低模型质量，创建后门以允许模型创建者访问其他系统，创建导致分类错误的实例，以及对模型本身和用于训练模型的数据集进行推理攻击。虽然对AI/ML的漏洞表面还没有很好的理解，但是在AI/ML实现中必须考虑到它。在这方面，人工智能系统的威胁模型不同于传统的软件和硬件。

•人工智能网络安全系统效能评估。

人工智能正日益成为医疗和交通等日常生活的核心技术的一部分。网络、物理、社会和经济之间的界限越来越模糊。虽然这会提高效率，但也会增加依赖性，增加自然、人为和程序性事故和威胁的风险。这就增加了系统性风险和从一个领域的威胁蔓延到其他领域的连锁危害的可能性。人工智能在现有的、对当前网络安全技术的有效性认识不足的基础上引入了更多的复杂性，例如投资某些控制措施可以获得多少安全性，以及哪些控制措施最能降低风险。衡量基于人工智能的安全控制、由此产生的安全级别和面对威胁的结果之间的多维因果关系是一项重大挑战。

针对威胁模型模拟不同的决策支持场景，包括与特定AI/ML实现相关的攻击者/防御者策略，以避免由AI/ML技术造成的无休止的攻击防御循环，用于网络安全任务，不包括恶意软件和入侵检测，也不包括基于特征的方法。开发使用人工智能安全功能的自动化编排。

研究人工智能系统的行为，包括它们在人类交互作用下的行为，以使系统可信。开发方法来验证和解释人工智能系统对人类感知和期望的结果。开发技术以改进人工智能系统产生的结果的来源。

开发工具和技术，以了解针对机器学习系统的攻击和防御。改进形式化方法技术，在训练和部署时验证机器学习算法的安全性和健壮性。寻找密码方法，以确保训练数据的篡改弹性存储和机器学习的篡改弹性计算，并在不泄露敏感信息的情况下实现机器学习的数据共享。开发新的基于人工智能的功能，以适应语义安全属性。研究为人工智能应用而制造的芯片、处理器和专用设备的潜在漏洞，考虑到人工智能和神经形态芯片以及具有内存处理和模拟计算功能的处理器的出现。

开发安全和信任的模型、定义和度量，用于评估人工智能网络安全系统和基于人工智能的网络安全控制。确保安全和隐私在不同的抽象层次得到保护，从高级规划和决策到低级执行人工智能系统。