东森平台ADLab：智能音箱网络宁静与隐私研究陈诉
宣布时间 2019-07-12本陈诉重点分析了智能音箱面临的宁静风险和隐私风险。通过对智能音箱的研究，东森平台ADLab发现了产物中存在有硬件调试接口漏洞、DLNA服务越权漏洞、服务端口越权漏洞等十余个宁静漏洞，这些漏洞可造成未授权设备控制、语音窃听、敏感信息泄露等。东森平台ADLab已第一时间向CNVD和CNNVD进行了漏洞通报，并与ICSCERT联合宣布了《智能音箱隐私与网络宁静分析陈诉》。
目录
一、市场生长与未来趋势
二、技术生长
2.1 智能音箱功效
2.2语音交互技术
2.3组网模式
2.4宁静及隐私风险研究的须要性
三、智能音箱宁静风险与案例分析
3.1设备端
3.1.1开放的调试接口
3.1.2 内置的后门
3.1.3未授权的开放端口
3.1.4 开放未授权的DLNA（Digital Living Network Alliance) 服务
3.1.5 代码缺陷
3.2 APP侧
3.2.1 APP申请过多的权限
3.2.2 APP通信
3.3设备互联及第三方服务
3.3.1 设备间互联互通协议
3.3.2第三方内容审核
3.3.3声纹识别算法缺陷
四、隐私风险
4.1 误唤醒
4.2 过多的权限
4.3 音箱的日志信息被泄露
4.4 录音信息可以被恒久跟踪学习
4.5 API敏感信息泄漏风险
4.6 用户无法管理自己的隐私信息
五、风险防护及宁静建议
一、市场生长与未来趋势
2014年11月，亚马逊低调宣布一款智能音箱Echo，它标志着智能音箱市场生长的开始。2015年销量到达250万台，2016年的销量到达520万台，也因此凭借不俗的销量一举逾越传统音箱领头羊Sonos，夺得在线音箱行业市场销售头把交椅。一度在智能音箱市场细分领域占据了极大部门的市场份额。亚马逊宣布的智能音箱Echo受到了市场强烈反映，引发了全球智能音箱热潮。随后谷歌公司在2017年5月份也宣布了自家的智能音箱产物Google home。紧随着，苹果公司在2017年宣布智能音箱HomePod。随着国外各大巨头厂商相继宣布各自的智能音箱产物，国内厂商也紧追其后，纷纷入场结构。首先京东和科大讯飞合作推出了“中国版Echo”叮咚音箱，随后酷狗、阿里巴巴、小米、百度、华为等企业也先后跟进，陆续通过自研或者合作的方式入局。
全球智能音箱市场生长飞快，快速发作，2017年全年出货量到达了3220万台中国智能音箱市场增长迅猛，目前已经成为全球第二大智能音箱市场。
智能音箱极大拓展了传统音箱的能力领域，就音乐这一特质来讲，智能音箱不仅会保留而且还会进行相应的加强。凭据相关机构的调研资料了解到，消费者购置原因还是比力单一，购置智能音箱的首要选择还是用来听音乐，占比到达90%。不外在未来的智能音箱的生长中，音质和优质内容相结合将会是一种潮水。厂商方面，音频厂商与科技类公司进行合作，相继推出性能较强的智能音箱，会发动一批主打音质的智能音箱产物。随着智能音箱产物的增长，产物之间互联互通成为后续生长趋势，同样这也切合智能家居生长规律，能将智能音响融入到物联网世界里，接入多方产物的平台，完善平台结构。智能音箱的实质是语音交互产物，语音交互技术直接影响到用户体验，因此具备越发智能化，个性化也是消费者所期待的，或将成为智能音箱行业的核心竞争技术。
二、技术生长
智能音响是传统音箱升级的产物，家庭消费者可以通过它上网点播歌曲，上网购物，亦或是了解天气预报，定时闹钟，新闻资讯等。它也可以对智能家居设备进行控制，好比打开窗帘，设置冰箱温度，提前打开热水器升温等，这种智能音箱是接入了智能家居网络中可以进行的操作。其实智能音箱核心比力简要，就是让机器在语言对话这一环节拥有近似于人类的识别能力，并渗入到人们的日常生活中。
2.1 智能音箱功效
智能音箱应该具备语音交互能力，并提供内容服务、互联网服务，以及场景化智能家居的控制能力，如下图所示：
图1 智能音箱功效示意图
智能音箱差异于传统音箱，它将是物联网世界的语言入口。
2.2语音交互技术
智能音箱的生长与火爆离不开语音交互技术的支撑，虽然，强大的语音交互的背后也离不开大数据、机器学习及人工智能等技术的支持。各大语音技术厂商通过自主研发软硬件产物，或对外输出语言技术，赋能传统智能音箱厂商、内容和互联网服务厂商，获取用户信息和数据，建立物联网生态平台。2017年12月4日，中国电子科技集团公司第三研究所（简称“中电三所”）联合中国电子学会消费者电子分会联合宣布了，以“娱心悦耳，音智双全”为主题的智能音箱评测宣布会�；嵘闲剂似涫笔谐」刈⒍冉衔械奈蹇钪悄芤粝涞钠啦庖煊虢峁�。对智能音箱的识别准确率测试结果如下图所示：
图2 智能音箱识别准确率
2.3组网模式
一般地，用户通过手机端app进行全面操控，例如用户注册，登陆，种种基础和个性设置以及服务内容定制等。手机端app只和远程云服务器进行通信，云服务器作为“鹊桥”，将用户指令转发给智能音箱，智能音箱响应云服务器下达的指令。响应结果再通过云服务器反馈得手机端并展示给用户。虽然，用户可以通过语音交互直接和智能音箱交流，智能音箱接收到语音信息后，将语音信息打包转发给云服务器进行解析。云服务器将语言信息转义后形成指令再次返给智能音箱进行执行，执行结果通过云服务器再次反馈得手机端展示给用户。云服务器和智能音箱之间的通信协议，各家都差异。例如，小米之前使用过miio协议等。智能音箱作为智能家居中一个重要设备节点，虽然也支持与第三方设备进行控制协议交互，使用的通信协议通常是自界说的。对于智能音箱自己，通常自身具备连接局域网WiFi的功效。下图为智能音箱组网模式。
图3 组网示意图
2.4宁静及隐私风险研究的须要性
人类的语音内容中包罗了富厚的个人信息。通过语音内容，分析人员可以获得个人的年龄、性别、籍贯、健康情况、周围环境等个人敏感信息。所以智能音箱的语音收罗及利用涉及到敏感的个人隐私问题。
隐私权是人的基本人权，公众有权利了解自己的个人信息是如何被收罗的，什么时候被收罗的，在哪里被收罗，公众有权利决定自己的个人信息如电收罗，生存及使用方式。随着民众自我�；ひ馐兜奶岣呒爸捶ǖ慕�，加强个人信息宁静及隐私�；さ暮羯苍嚼丛礁�。
2018年，欧盟开始实施GDPR法案，要求企业必须保障个人隐私宁静。
2018年5月1日，国家《信息宁静技术个人信息宁静规范》正式实施，填补了国内个人信息�；ぴ诰咛迨导食叨壬系目瞻�。
近年来，关于智能音箱涉及的宁静及隐私问题也经常见报端。
图4 智能音箱个人信息泄露报道
因此研究智能音箱的宁静及隐私问题显得十分须要，为此我们研究了八款市场主流的智能音箱设备，其中2款涉及到国外厂家，6款产物涉及到国内厂家。
三、智能音箱宁静风险与案例分析
智能音箱的宁静风险主要存在于智能音箱设备端、智能音箱APP及智能音箱的第三服务及互联协议三部门。
东森平台在对音箱的宁静研究期间，共向CNVD（国家信息宁静漏洞管理平台）及CNNVD（中国国家信息宁静漏洞库）提交了十多个设备宁静漏洞，部门设备的编号及说明如下表所示。
3.1设备端
3.1.1开放的调试接口
为了生产及维护环节的便利，许多智能音箱都开放了对外的调试接口，这些接口包罗usb调试口、TTL调试口。通过这些接口，厂家可以对问题设备的固件进行更新。但是这些开放的调试接口同样为攻击者提供了分析固件和设备攻击提供了便利，更进一步的攻击者可以向设备安装恶意的固件，然后投放到市场销售。
图5 开放的调试接口
3.1.2 内置的后门
在智能音箱的固件分析中，我们发现部门厂家在固件中设置了后门，使得厂家可以在用户不知情的情况下，可以远程地控制全网所有音箱，并执行任意系统命令，对用户隐私及设备宁静造成了极大隐患。
图6 智能音箱后门示例
3.1.3未授权的开放端口
部门音箱开放了部门的开放端口，通过这些开放端口，利用未授权的开放端口，攻击者可以控制音箱播放恶意音频或者进行录音。
某智能音箱监听8080端口，如果攻击者通过向该8080端口发送相关的控制命令即可完全控制音箱设备。
图7 未授权的开放端口
3.1.4 开放未授权的DLNA（Digital Living Network Alliance) 服务
我们发现部门音箱开放了未授权的DLNA服务，局域网内的攻击者可以攻击者可以控制音箱播放恶意音频或者是中断音箱正在播放的内容。这种攻击对于运用于公共场所的音箱，有很大的宁静隐患。
图8 开放的DLNA服务
3.1.5 代码缺陷
部门音箱在代码实现上存在缺陷使得攻击者可以通过命令注入漏洞开启telnet服务，并完全控制音箱设备实现对设备的录音等恶意操作。存在命令注入代码如下图所示：
图9 获取playurl
获取playurl后，进行命令拼接，导致任意命令执行。
图10 任意命令注入执行
乐成攻击后，开启telnet服务。
图11 乐成开启telent服务
3.2 APP侧
3.2.1 APP申请过多的权限
APP申请权限过多的问题比力严重，在我们测试的国产音箱中，该问题全部存在。其中过度的权限包罗但不限于APP读取短信，读取手机的识别码，发送/读取短信/彩信的权限，打开摄像头的权限，读取用户通话记录及已手机已安装应用信息，拨打电话，使用呼叫转移，读取运动数据的等敏感权限。
图12 敏感权限
3.2.2 APP通信
通信协议未加密问题，使得攻击者可以利用这些袒露的宁静问题，获得设备的控制权。
图13 APP通信抓包
3.3设备互联及第三方服务
3.3.1 设备间互联互通协议
在智能家居的场景中，智能音箱起到了控制中心的职位，智能音箱通过识别用户的语音命令，通过智能家居的互联协议控制其他家居设备。我们在研究智能音箱的时候，发现部门厂家在智能家居设备的互联协议中没有接纳须要的宁静审核机制，特别是设备和设备之间合法性验证。攻击者利用这些设计缺陷就可以窃取音箱的语音命令内容或者非法控制其他智能家居设备。
3.3.2第三方内容审核
由于智能音箱的使用者，很大一部门是儿童。因此对智能音箱来说对音频回复内容的审核应该要有一定的敏感内容防护，不能回复反动音频或者是粗口内容。在我们研究的过程中，我们发现个体音箱在处置内容识别时，缺少须要的防护，使得在一些特定的中英混合问题的场景中，智能音箱会回复粗口的内容。
3.3.3声纹识别算法缺陷
在某款用于购物的音箱设备中，接纳了声纹识此外技术用于用户的交易身份的鉴定，但是我们的测试中，发现声纹识此外误识率较高，在生物识别技术中（如虹膜，指纹，指静脉），由于声纹技术及设备成本的约束，声纹识此外识假率较低。有些厂家的声纹技术无法反抗录音及人声模拟的攻击，而这些攻击手段对于攻击者来说是较简单的。
四、隐私风险
4.1 误唤醒
在音箱的使用场景中，只有用户唤醒音箱后，音箱才气收集用户的语音信息。而由于有些音箱的唤醒算法存在缺陷，使得音箱经常在未被唤醒的情况下，自行唤醒，而且收集用户语音，上传到后台进行识别。这样会使得用户的隐私存在泄漏风险。在我们测试的音箱中有五款智能音箱存在差异水平的误唤醒情况。占比到达56%。
4.2 过多的权限
APP申请的包罗APP读取短信，发送短信的权限，摄像头的权限，通话记录及已安装应用信息，使用呼叫转移，读取运动数据的等敏感权限。
在音箱的使用场景中，在天气预报的时候需要获取用户所在的都市的位置，在一般的使用情况下，只需要音箱的外网IP地址即可获取用户的地域位置，而某些音箱除此之外还获取用户家中路由器的WIFI的BSSID信息及GPRS位置信息。
4.3 音箱的日志信息被泄露
某些音箱每天会上传用户音箱的系统日志信息，这些日志信息不仅包罗音箱的日常使用信息，还包罗了音箱所在局域网的WI-FI的密码信息。
4.4 录音信息可以被恒久跟踪学习
在我们研究的这些音箱的远场音频处置�？榛岫陨璞傅氖章薰讨�，会对同一设备收罗的音频会偷偷打上唯一标识。这些语音文件生存到云端后，第三方厂家在进行语音分析及AI建模时，可以通过隐藏的声音标识定位到个人，可以对同一家庭成员的声音进行追踪，可以对个人的语音特征变化进行长时间的跟踪和学习。
4.5 API敏感信息泄漏风险
智能音箱的工业链中包罗了音箱设备厂家、语音识别及语音合成平台厂家、远场音频处置厂家、NLP算法厂家、音频内容提供商、外围设备商等。
在智能音箱厂家与工业链厂家交互中API，包罗用户的手机号，详细地理位置，WI-FI的BSSID，MAC地址等用户隐私信息，而这些信息对于工业链厂家来说不是业务所必须的。
4.6 用户无法管理自己的隐私信息
用户有权利决定自己的个人语音信息在云端的生存。厂家应为用户管理这些隐私信息提供服务入口。
国外的智能语音设备厂家如亚马逊在APP侧及音箱侧为用户提供了删除云端个人录音。亚马逊音箱用户只需要对音箱说“Alexa，删除我今天所说的一切”。亚马逊将会删除在云端生存的用户录音。
可惜的是目前我们没有在国内产物中看到这些有利�；び没б降拇胧�。
五、风险防护及宁静建议
通过对多款智能音箱进行深入地研究，我们总结出五个方面的宁静问题，分别为宁静风险、设备端、APP侧、外接设备及第三方组件以及隐私风险。
设备端问题主要是智能设备开发板袒露出调试串口，可以通过调试器将设备中的固件独读取出来进行逆向分析，导致固件泄露。
APP侧问题主要是存在被逆向分析的风险，我们在研究过程中，对多款智能音箱的手机端app进行了逆向分析，发现了很多要害问题，例如，设备和云服务器之间的通信协议。智能音箱中使用通过第三方协议进行局域网音频播放，而使用的第三方协议是没有进行设备认证的。
最重要的一个宁静问题就是隐私问题，我们发现多款设备都存在收集用户信息并打包回传云服务器的功效。其中有的设备被攻击后，在用户不知晓的情况下，可以进行录音操作。甚至还能回溯用户的使用痕迹和语音痕迹。
针对这些宁静问题，需要一一进行防护。APP侧要使用加固手段，防止被逆向分析，将一些要害协议的实现放到native层实现。对于外接设备及第三方组件，智能设备厂商需要对第三方厂商的宁静准入进行把关。
隐私问题是一个大问题，同时也是一个广泛的社会问题，厂商可能通过收集用户使用信息来分析用户行为以便更好的提供服务，但应当考虑隐私界限。同时对于收集到的用户信息应做到加密，不能只管收集不管�；�，厂商应该负担起自己的社会责任。
全国政协委员、东森平台集团CEO严望佳在2019 全国政协会议上提交了三个提案，其中《关于加快完善数字经济时代数据法治建设的提案》和《关于规范人工智能宁静健康生长的提案》与个人隐私相关。这两个提案建议加快《数据宁静法》事情及《个人信息�；しā肥虑�，加快开展人工智能宁静应用规则和伦理道德研究及应用宁静测评事情。
尽早开展人工智能相关规则和道德伦理以及宁静性的评估，化解风险，这将推感人工智能更好更快地生长。
京公网安备11010802024551号