阿里安全专家：AI系统必须具有可解释性

【亿邦原创】“AI发展趋势是一定的，但AI应用来解决安全问题时并不能生搬硬套，需要根据实际场景进行AI的技术升级，”阿里安全图灵实验室负责人、资深专家奥创近日接受主笔访问时表示，安全会成为未来AI开发的最大挑战，“基于阿里安全在内容、新零售、知识产权等领域的对抗经验，我认为‘安全AI’会成为未来网络安全问题的新解法，也将在2019年迎来爆发期。”

奥创指出，无人驾驶、人脸识别、智慧城市、智能家居等各类场景中都在运用AI，但一旦后端控制系统被攻击，出现规模化、连锁式的崩盘，AI失控的后果不堪设想。

“比如，无人驾驶车要通过识别交通信号标志来决定是通行还是停止，而攻击者可以生成一个欺骗通行标志的对抗样本，在行人眼里是禁止通行，但AI系统会识别成允许通行，这足以造成灾难性的后果，”奥创表示，其原理就是通过打造精确的攻击样本欺骗分类器。

“事实上，现在已经出现了数据投毒（指故意造成的数据污染）、对抗式生成网络伪造人脸识别等攻击手段，”奥创介绍到，在大量的AI技术落地之前，安全AI需要引起足够的重视才能从源头上防范更多的风险，“在这个背景下，阿里安全提出‘安全AI’的理念。”

奥创解释：所谓安全AI，是指安全场景中进化出的AI，拥有更强、更多元化的能力；与当前通用AI的理念不同，阿里安全更注重在业务安全领域垂直纵深的技术积淀，开发出适应更多安全场景的新一代AI，让传统的安全问题找到新的AI解法。

据了解，基于安全AI理念，阿里安全图灵实验室推出了AI鉴黄师，其可识别图片、弹幕、语音等多维度信息

再比如，用AI判定互联网平台上对于违规视频的判定，除了计算机视觉技术之外，加入了语言、语音等多源网络的设计，比如视频画面、视频中的语音、弹幕和交互信息等多个维度。“知识图谱、多源网络、对抗样本等构建出更强、更安全的AI技术能力，可以有效防范攻击，降低风险，”奥创表示。

据悉，欧盟刚刚出台《人工智能道德准则》，明确提出AI的发展方向应该是‘可信赖AI’，包含安全、隐私、透明等多个方面，AI应用正在成为一个社会问题，如何解决已经成为各界共同关注的话题。

奥创认为，2019年也将是安全AI的爆发之年。针对安全场景的AI设计，极限数据情况下的模型训练、实现不同业态与场景下的模型迁移、决策场景下的模型可解释性、强对抗场景下的模型安全性这四个方向将非常值得探索。

“以决策场景下的模型可解释性为例，端到端的深度学习，一个广为诟病的问题是其不透明性或不可解释性，比如说识别一张照片中的物体，机器做出是的判断基于什么什么有效特征，我们无从得知。”奥创认为，人工智能系统必须具有可解释性，以便人类可以理解系统的行为。

“在面临一些重大决策的情况下，比如患者被AI建议使用了某种很罕见的治疗方案、无人车或无人机没有按照既定的轨迹完成任务、或者AI被用来进行司法判决时，智能系统能够给出判断的依据甚至能够与人类交换想法，无疑是至关重要的。“奥创指出。