人工智能时代如何“杀dupoison” RealAI推出可在线测评算法模型安全平台

中新网北京4月9日电 (记者 张素)大规模网络攻击曾倒逼杀dupoison软件的诞生，人工智能时代针对算法漏洞这一“新型病dupoison”，又该如何“杀dupoison”？记者9日从RealAI(瑞莱智慧)获悉，他们推出针对算法模型本身安全的检测平台，相当于人工智能时代的“杀dupoison软件”。

RealAI是一个孵化自清华大学人工智能研究院的创新团队，相关研究成果已被FoolBox等开源软件收录为标准。RealAI还与清华方面组成战队，在人工智能领域多项国际大赛中斩获冠军。

RealAI的首席执行官田天介绍，团队最新推出的RealSafe人工智能安全平台可以提供从测评到防御完整的解决方案，快速缓解对抗样本攻击威胁。

由于人工智能或可实现对人脑的替代，因此，在每一轮人工智能发展浪潮中，人们都非常关注其安全问题和伦理影响。业内专家认为，当前针对“人工智能安全”的定义主要来源于“赋能安全应用”和“防范技术风险”两个层面。

其中，后者是对现阶段由于人工智能技术不成熟以及恶意应用所导致的安全风险，包括模型缺陷、算法不可解释性、数据强依赖性等，本质上由人工智能“技术短板”所致，是限制人工智能发展最明显的“软肋”。而在中国信息通信研究院2018年编制的《人工智能安全白皮书》中，“算法安全”是人工智能六大安全风险之一。白皮书还指出“对抗样本攻击诱使算法识别出现误判漏判”这一算法模型缺陷为算法安全的重要风险项。

田天解释，对抗样本原本是机器学习模型的一个有趣现象，通过在源数据上增加人类难以通过感官辨识到的细微改变，让机器学习模型接受并做出错误的分类决定。但是经过不断升级演化，对抗样本攻击已不仅停留在数字世界。

“在路面上粘贴对抗样本贴纸模仿合并条带误导自动驾驶汽车拐进逆行车道、佩戴对抗样本生成的眼镜轻易破解手机面部解锁、胸前张贴对抗样本贴纸即可实现隐身……”他举例说，对抗样本会导致人工智能系统被攻击和恶意侵扰，成为威胁到人工智能系统的“人工智能病dupoison”，在人脸识别、自动驾驶等领域或将造成难以挽回的损失。

然而，业界对于如何评价算法模型的安全性并没有清楚的定义，对抗样本等算法漏洞检测存在较高的技术壁垒，目前市面上缺乏自动化检测评估工具。

田天表示，相较于目前常见的开源工具需要自行部署、编写代码，RealSafe平台支持零编码在线测评，用户只需提供相应的数据即可在线完成评估。为帮助用户提高对模型安全性的概念，该平台根据模型在对抗样本攻击下的表现进行评分，还提供模型安全性升级服务，支持五种去除对抗噪声的通用防御方法。部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后，安全性可提高40%以上。

“推出安全检测平台是规避风险的一条路径，未来还需要联合各界力量共同推动人工智能安全相关的国家标准、行业标准、联盟标准的制定，为人工智能产品安全评估评测的统一参考。”他说。(完)