资讯
当前位置:主页 > 业界 > 活动展览 >

图像识别攻击还没完全解决 语音识别攻击又来了

2018-05-30 16:07 网络整理 活动展览 编辑:admin 浏览数:智能汽车网

 假设你在房间的角落放一台低声嗡嗡作响的设备就能阻碍 NSA 窃听你的私人谈话。你会觉得这是从来自科幻小说吗?其...

假设你在房间的角落放一台低声嗡嗡作响的设备就能阻碍 NSA 窃听你的私人谈话。你会觉得这是从来自科幻小说吗?其实这项技术不久就会实现。

今年 1 月,伯克利人工智能研究人员 Nicholas Carlini 和 David Wagner 发明了一种针对语音识别 AI 的新型攻击方法。只需增加一些细微的噪音,这项攻击就可以欺骗语音识别系统使它产生任何攻击者想要的输出。论文已经发表在 https://arxiv.org/pdf/1801.01944.pdf 。

虽然本文是首次提出针对语音识别系统的攻击,但也有其他例如针对图像识别模型系统的攻击(这个问题已经得到了不少研究,具体技术手段可以参考 NIPS 2017 图像识别攻防对抗总结),这些都表明深度学习算法存在严重的安全漏洞。

深度学习为什么不安全?

2013 年,Szegedy 等人引入了第一个对抗性样本,即对人类来说看似正常的输入,但却可以欺骗系统从而使它输出错误预测。Szegedy 的论文介绍了一种针对图像识别系统的攻击方法,该系统通过在图片(蜗牛图片)中添加少量专门设计的噪声,添加完的新图像对于人来说并未改变,但增加的噪声可能会诱使图像识别模型将蜗牛分类为完全不同的对象(比如手套)。进一步的研究发现,对抗性攻击的威胁普遍存在:对抗性样本在现实世界中也能奏效,涉及的改动大小最小可以只有 1 个像素;而且各种各样内容的图像都可以施加对抗性攻击。

这些攻击的例子就是深度学习的阿基里斯之踵。试想如果仅仅通过在停车标志上贴上贴纸就可能破坏自动驾驶车辆的安全行驶,那我们还怎么相信自动驾驶技术?因此,如果我们想要在一些关键任务中安全使用深度学习技术,那么我们就需要提前了解这些弱点还要知道如何防范这些弱点。

对抗攻击的两种形式

对抗攻击分为针对性攻击和非针对性攻击两种形式。

非针对性对抗攻击仅仅是让模型做出错误的预测,对于错误类型却不做干预。以语音识别为例,通常攻击完产生的错误结果都是无害的,比如把「I'm taking a walk in Central Park」转变为「I am taking a walk in Central Park」。

针对性对抗攻击则危险的多,因为这种攻击通常会诱导模型产生攻击者想要的错误。例如黑客只需在「我去中央公园散步」的音频中加入一些难以察觉的噪音,模型就会将该音频转换为随机乱码,静音,甚至像「立即打 911!」这样的句子。

图像识别攻击还没完全解决 语音识别攻击又来了

花的爱拥还是死亡之萼?兰花螳螂是自然界中众多针对性欺骗的例子之一

对抗攻击算法

Carlini 和 Wagner 的算法针对语音识别模型的进行了第一次针对性对抗攻击。它通过生成原始音频的「基线」失真噪音来欺骗模型,然后使用定制的损失函数来缩小失真直到无法听到。

基线失真是通过标准对抗攻击生成的,可以将其视为监督学习任务的变体。在监督学习中,输入数据保持不变,而模型通过更新使做出正确预测的可能性最大化。然而,在针对性对抗攻击中,模型保持不变,通过更新输入数据使出现特定错误预测的概率最大化。因此,监督学习可以生成一个高效转录音频的模型,而对抗性攻击则高效的生成可以欺骗模型的输入音频样本。

但是,我们如何计算模型输出某种分类的概率呢?

分享到:
上一篇:马斯克:美大型媒体公司全都假仁假义,不再受
下一篇:《使命召唤15:黑色行动4》上架各地战网:台服

版权与免责声明:

凡未注明"稿件来源"的内容均为转载稿,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性。

本文地址:http://znqcw.cn/yejie/huodongzhanlan/2018/0530/147.html

转载本站原创文章请注明来源:智能汽车网

行业聚焦

强者恒存!曙光存储摘下全球存储产业皇冠的

 6月25日,曙光存储召开了主题为先进存力,凝聚数据要素的新品暨品牌发布会, 震撼发布全球首个亿级IOPS集中式全闪存储...[详细]

长城皮卡2023年全球销售202330台 蝉联中国皮卡

日前,长城皮卡公布最新销量数据。 长城皮卡再创销冠传奇,12月全球销售 16032 台 ,同比增长1 6. 88 % ;202 3 年全球销 售 202330 台...[详细]

全新配色猛龙领衔 哈弗新能源即将强势登陆

11月17日,第二十一届广州国际汽车展览会即将正式拉开帷幕。哈弗品牌将以你的猛龙 独一无二为主题倾情参展,并 将 在车...[详细]

自动挡中卡只选欧曼!欧曼行星中卡采埃孚自

选择自动挡就是选择高效物流的未来!2023年11月15日,以自动挡中卡只选欧曼为主题的欧曼行星中卡采埃孚自动挡产品全国上市...[详细]

东风御风V9E惊艳亮相武汉车展,新能源VAN赋能

2023中国国际商用车展(CCVS)于11月8-11日在武汉国际博览中心举办(简称武汉车展),本届展会的主题是新理念、新格局、新需求。...[详细]

推荐内容

更多

热点内容

更多

黑客马拉松比赛:前浪、

 

2020年7月,软银机器人联合世界人工智能大会(WAIC)和机器之心举办了黑客马拉松比赛。在软银机器人易用的开发工具、丰富...[详细]

2020 WAIC机器人狂欢:AI抗疫

 

  2020年7月8日-11日,由张江集团、优必选科技、软银集团旗下软银机器人、Watson Build 创新中心、机器之心联合组织的世界人工...[详细]

机器人时代的到来,Robo

 

  2020年6月27-28日,国际权威机器人赛事RoboCup@Home Education于线上举行,此赛事是RoboCup@Home的一项教育计划,旨在鼓励学校参与到...[详细]

通证经济时代已来临!易

 

  一,什么是通证 通证基于固有和内在的价值,它立足于实体经济、为实体经济服务。 通证是源于英文的token,是人们高度关...[详细]

BKCoin国际数字资产交易所

 

  BKCoin作为全球知名的区块链技术服务机构,其业务包含:数字资产交易平台、信息安全研发中心、区块链项目孵化中心以及数字...[详细]

  • 黑客马拉松比赛:前浪、
  • 2020 WAIC机器人狂欢:AI抗疫
  • 机器人时代的到来,Robo
  • 通证经济时代已来临!易
  • BKCoin国际数字资产交易所
一周排行每月关注