ChatGPT：是崛起的AI攻击之矛，还是万能的网络宁静之盾

宣布时间 2023-05-05

随着ChatGPT宣布，人工智能领域热潮再次被点燃，引起工业界、学术界及各国政府的纷纷关注，不停推出新的大语言模型，一方面加大本国在人工智能的研究力度，另一方面讨论大语言模型应用的种种潜在问题。本文基于东森平台对大语言模型在宁静方面的深入研究，提出四个方面的看法，旨在解读大语言模型时代网络宁静攻防进化的机遇与挑战。



什么是ChatGPT和大语言模型



ChatGPT是由美国科技创业公司OpenAI开发的人工智能聊天机器人，最初是基于GPT-3大语言模型，使用深度学习来发生类似人类的文本，目前ChatGPT底层的大语言模型已经进化到GPT-4。


大语言模型指在基于大量文本的数据上训练模型，训练用的语料样本最初是从开放的互联网获取，涵盖了种种类型的网页内容，包罗学术论文、社交媒体帖子、博客、新闻文章等大量的数据。


而这些大量的数据在摄入时，无法完全过滤所有冒犯性或禁绝确的内容，因此 "有争议的内容"很可能包罗在其模型中。该模型通过分析差异词语之间的关系，并将其转化为概率模型，然后可以给模型一个 "提示"，它将凭据其模型中的单词关系提供一个在概率上最接近用户期待的答案。



ChatGPT的数据界限问题



ChatGPT现在已经基本界说了一种新的AI应用的工业范式，即人机交互使用Chatbot聊天模式，后端用大语言模型进行意图理解和内容生成，再结合API实现多模态应用。


既然是聊天，那么就需要有输入和输出。输入就是“喂”给模型的数据，可以是向ChatGPT提出的问题，也可以是向其提供的数据资料；输出则是经过模型计算和API调用后利用模型生成接近用户期待的内容和格式的结果。


这样在用户与ChatGPT对话的过程中，就会把用户的数据上传给ChatGPT的服务器，凭据ChatGPT官方的文档确认，用户与ChatGPT之间的对话数据是会被上传到OpenAI公司进行存储，而且将对话数据中的用户个人信息（如姓名、地址、电话等）进行脱敏处置后，可能会被用于模型后续的迭代训练，以提升产物效果，但这个过程并不会自动被执行。


ChatGPT目前没有提供类似Google Assistant、Siri、Amazon Alexa和Microsoft Cortana这类聊天机器人应用中的“隐私模式”或“无记录模式”。在这种模式下，用户可以保证自己的对话内容和个人信息不会被记录或收集。ChatGPT的用户如果不想其数据被利用于ChatGPT的训练迭代，需要通过向OpenAI提交申请。


介于ChatGPT目前还处于未果然其技术细节和数据处置流程的状态，其对用户数据的使用也没有得到第三方机构进行审计和监管，如JP Morgan、Amazon、Verizon、Bank of America等一些企业已经禁止其员工在事情时使用ChatGPT，以防止敏感的企业数据泄露，甚至如某些国家已经官方宣布基于数据隐私宁静的考虑，禁止使用ChatGPT。


看法1：从政策和技术两方面保证类ChatGPT应用的数据界限宁静。


面对上述的ChatGPT数据界限问题，目前产物还不能满足�；な菽残缘南喙匦枨�，需要通过加强相关的宁静合规性立法、进行模型私有化部署和对模型数据使用过程进行审计等要领来解决这个问题。


以OpenAI的ChatGPT为例，ChatGPT无法满足GDPR和《个人信息�；しā分泄赜诟鋈诵畔⒁奖；さ南喙匦枨�，如用户无法行使对其个人数据的“删除权”，这不仅是ChatGPT没有开放这个功效，在技术上当个人数据经过处置进入数据集后，往往就丢失了溯源能力，也很难再被单独找出来删除。对于部署在国外的服务器上的类ChatGPT的大语言模型应用来说，更是无法满足《数据宁静法》对数据不出网、不出境和能够进行有效管控的要求。


从技术角度考虑，如果要满足大语言模型应用的数据宁静合规性，需要在以下几个方面做出革新：


模型私有化部署：私有化（即当地化）部署是满足企业用户在使用大语言模型应用时数据不出网、不被滥用的主要要领之一，这个部署包罗了提供可以进行模型微调（Fine-Tuning）在内的算力环境。由于大语言模型的生成效果也取决于训练时的语料数据，在专业性很强的垂直领域要到达更好的生成效果，也是需要提供语料来优化模型，因此大语言模型的私有化部署是让数据在企业内形成内部循环来连续优化模型的可行要领。


对于云端提供的大语言模型中数据的使用过程进行第三方审计：可以从数据的输入、存储和使用等环节提供第三方的系统来进行数据宁静合规性的监控和审计。如通过调用大语言模型提供的API来自己提供Chat接口，并对聊天过程中输入的数据进行合法合规性审计；在线存储的用户对话数据必须进行加密存储；对被用于模型迭代更新的用户数据进行合规性审计后才可以使用。



大语言模型赋能宁静攻击



很多文章已经讨论过大语言模型被用于网络渗透攻击的例子，主要包罗以下6个偏向：


①通过绕过ChatGPT的防御规则，来欺骗其通过大语言模型生成恶意代码、生成攻击脚本；

②使用大语言模型快速批量生成社会工程攻击的文本，如钓鱼邮件或者凭据用户信息生成攻击字典；

③对开源代码进行自动化漏洞挖掘和漏洞利用测试；

④获得网络宁静工具使用要领、漏洞信息等多种知识；

⑤组合已有的单点攻击工具，生成更强大的立体化多点攻击工具；

⑥使用大语言模型的编程能力实现代码混淆和修改实现逃避检测和免杀。


看法2：大语言模型赋能攻击可能引发新的网络入侵潮。


大语言模型的自动化生成能力将大大提升宁静入侵的效率、降低宁静入侵的技术门槛、提升宁静入侵自动化能力、降低高级宁静入侵的实施成本，国内受到网络宁静法的震慑，相关宁静事件发生会受到一定制约，但来自国外的个人和小团体攻击将有可能迎来一波大幅的提升。


大语言模型对网络宁静的威胁将大于对网络宁静的资助似乎已经成为共识。因为大语言模型的自动生成能力可以很容易资助入侵者把一个想法快速酿成一段代码或者文本。


好比，对于原来需要5-10人花费数周时间，才气开发出来具有免杀能力的新型0day恶意代码，运用大语言模型的自动生成能力，可能通过几次对话生成，即使是略懂原理的初学者，也能在几小时内完成。今后脚本小子的个人战力得到极大提升，给企业带来威胁的入侵者数量将泛起几个数量级上的增长。


ChatGPT通过对Github上大量开源代码的自动化漏洞挖掘可以让入侵者以低成本快速掌握多个0day漏洞，尤其在一些不被大范围使用的专业性较强的开源系统上的漏洞往往不会被注意，因为这些漏洞挖掘的性价比并不高，但ChatGPT改变了这个规则，完成这些事情只需要编写一些自动化的代码，就可以完全交给ChatGPT进行后续事情，甚至自动化代码都可以让ChatGPT代庖。这让入侵者可以把挖掘0day漏洞从原来主要聚焦于广泛使用的开源软件转向所有开源软件，这会对一些以前入侵者很少涉足的专业领域发生极大的潜在宁静威胁。


ChatGPT使得使用钓鱼邮件进行社会工程攻击变得更容易、更高效、更不易被发现。通过AIGC能力能够快速批量生成差异表达方式的钓鱼邮件，而且利用ChatGPT的角色饰演能力，能够轻易以差异角色的身份来撰写，这些邮件的内容和口吻越发真实，使得分辨难度大大提高。



大语言模型赋能宁静防御



大语言模型的很多能力在赋能宁静攻击和赋能宁静防御两个方面都是相对应的，但宁静防御与宁静攻击的差异点在于，宁静攻击只要找到任何一个突破点就能够取得攻击结果，而宁静防御则需要尽可笼罩所有场景才气够防御乐成。因此大语言模型在自动化生成能力方面对宁静防御的加成远小于对宁静攻击的加成。


大语言模型在以下5个方面对宁静防御能力提供了能力加成：


①宁静运营管理过程中的代码生成：包罗检测脚本生成、宁静设备配置计谋下发命令生成、日志范式化正则表达式自动生成，以及检测脚本代码在种种差异版本编程语言间的自动化转化、宁静配置计谋命令在差异品牌宁静产物间的自动转换等；

②代码宁静：包罗针对代码漏洞、注入点和内存泄漏点的自动化检测和审计，自动化生成代码宁静问题的修复建议；③宁静模型训练数据增强：如通过批量发生垃圾邮件、钓鱼邮件来增强训练样本，批量生成弱口令样本等；④宁静运营知识获�。喊奕缁袢∧卜治鲆臁⒒袢∧卜治龉ぞ咝畔ⅰ⒒袢÷┒辞楸ê屯睬楸ǖ�；⑤自动化宁静分析和响应：通过大语言模型进行宁静运营的多意图理解，并通过API驱动接入的宁静设备和系统完成包罗宁静事件视察、宁静分析脚本推荐、宁静事件响应剧本生成、攻击溯源图生成、攻击脚本和恶意代码解读、威胁情报关联、宁静分析总结和陈诉生成等。


看法3：大语言模型赋能宁静防御可以资助专家节省时间，但没有赋能宁静攻击更有威力。


网络宁静防御是一种需要进行精确判断和决策的技术，大语言模型快速生成的代码和方案可以帮专家节省时间，但由于大语言模型在AIGC过程中的“幻化”问题，所以由大语言模型提供的代码和方案需要经过人工验证其正确性，这对于具有验证能力的专业人员来说，大语言模型能够在一定水平低提高其对宁静事件的处置效率。


同样的“幻化”问题也存在于大语言模型赋能宁静入侵中，但一般认为对宁静防御水平的验证难度是高于宁静入侵的。宁静入侵过程很容易在模拟环境中被验证，只要通过返回的信息就可知晓攻击是否乐成，而宁静防御则需在靶场中先模拟出种种可能的入侵，才有可能被验证，这在实战应用中防御效果的验证难度将会更高。



大语言模型竞争催生的宁静问题



ChatGPT惊艳世界后，引发了大语言模型领域的全球性竞争，实力大厂、创业公司等都纷纷入局，这将会带来两大方面宁静问题：


一是AI厂商为了争夺大语言模型风口的时机，短时间内发生大量AI算力需求，上线大量AI算力平台，但业界至今没有很好解决AI算力平台的自身宁静问题，包罗用户数据使用过程中的传输、存储的宁静问题，模型训练和推理过程中的宁静问题、算力平台自身系统和软件的宁静问题等，也缺乏相应的宁静尺度和规范，将有可能导致大量用户数据被泄露的风险。


二是大语言模型不仅是单一应用，通过开放API可以让大语言模型成为连接万物的智能大脑，大语言模型的应用将会成为平台级、系统级的庞大应用。这就带来了接入大语言模型的第三方应用的接入宁静问题、数据宁静问题，以及第三方应用的合规性问题、防止恶意第三方应用接入、第三方应用自身宁静问题等多种问题。


看法4：需要尽快推出头向AI算力平台宁静、大语言模型第三方应用接入宁静相关的宁静尺度和规范以及研发相关的宁静产物和方案，为大语言模型生长护航。


基于大语言模型的全球性科技竞争由ChatGPT引爆，AI厂家纷纷抢占先机。但现有相关的执法规则和行业尺度都还不能支撑大语言模型应用落地后的宁静合规的生长。尽快提出有效针对大语言模型应用的数据界限问题的解决方案是大语言模型应用落地的当务之急。


同时，大语言模型技术对网络宁静的影响既有正面也有负面，但总体来看负面影响大于正面影响，这为网络宁静提出了很大的挑战，同时也为网络宁静在AI领域开辟了一块全新的市场空间。大语言模型的基础设施宁静和扩展应用宁静也是不行忽略的两个偏向，同时也是两个新的网络宁静领域的发力点。


目前，人工智能大语言模型在高速生长过程中，其宁静也面临诸多挑战。东森平台集团北冥人工智能实验室专注于“人工智能赋能宁静”和“宁静的人工智能”技术研究，致力于构建人工智能和网络空间宁静交叉领域的专业技术能力，打造人工智能和宁静双向赋能的技术体系，进一步夯实集团作为网络宁静工业中主力经典工业板块的龙头企业，新兴前沿工业板块的引领企业和可连续健康业务模式和健康工业生态的支柱企业的职位。