360 安全研究院在过去一年里对深度学习系统的安全性做了详细的研究。 我们通过这个文档对这些工作做了一个系统的总结。 AI系统的安全问题主要包括模型安全、数据安全以及代码安全。 本文以目前流行的图像识别AI系统为例，介绍AI系统在这些方面面临的安全威胁。对于这些 威胁造成的影响，我们关注传统的攻击类型，包括恶意输入导致的拒绝服务，信息泄露，系统劫持。 同时我们也关注AI系统特有的安全问题，例如逃逸攻击，数据污染攻击。 关于AI系统的安全威胁，本文从以下三个角度进行阐述。第一部分描述深度学习系统

智能中枢是分析、决策、执行、自适应的鹏城安全发展智能体的关键内核。通过高度智能、 自我进化、安全可控的数据使能、AI 使能和应用使能，对汇聚的各类城市安全数据（物联、视频、 遥感、消息、图片等）进行治理、检索、分析、研判，打造城市安全的监测预警智能中枢、应急 指挥智能中枢和安全宣教智能中枢，支撑城市安全发展全场景智慧的快速构建。 为确保信息安全，智能中枢以数字身份为中心，贯穿智能体交互、联接、中枢、应用全周 期安全，通过实时感知、动态访控，集中管控身份安全、终端安全、链路安全，有效控制“合法 用

人工智能应用面临来自多个方面的威胁：包括深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。这些威胁可能导致人工智能所驱动的识别系统出现混乱，形成漏判或者误判，甚至导致系统崩溃或被劫持，并可以使智能设备变成僵尸攻击工具。在推进人工智能应用的同时，我们迫切需要关注并解决这些安全问题。本章首先介绍我们在深度学习框架中发现的安全问题。目前公众对人工智能的关注，尤其是深度学习方面，缺少对安全的考虑。我们把这个现象称为人工智能的安全盲点。导致这个盲点的主要原因是由于算法与实现的距

人工智能应用面临来自多个方面的威胁：包括深度学习框架中的软件实现漏洞、对抗机器学习的恶意样本生成、训练数据的污染等等。这些威胁可能导致人工智能所驱动的识别系统出现混乱，形成漏判或者误判，甚至导致系统崩溃或被劫持，并可以使智能设备变成僵尸攻击工具。在推进人工智能应用的同时，我们迫切需要关注并解决这些安全问题。本章首先介绍我们在深度学习框架中发现的安全问题。目前公众对人工智能的关注，尤其是深度学习方面，缺少对安全的考虑。我们把这个现象称为人工智能的安全盲点。导致这个盲点的主要原因是由于算法与实现的距