Check Point: 网络犯罪分子绕过 ChatGPT 的限制，生成恶意内容

  自去年ChatGPT上线以来，就不断受到全球各界人士关注。在本月，ChatGPT宣布其成为IT史上最快达成月活用户超一亿的应用。对比54个月达成过亿月活用户的Facebook，以及9个月用户过亿的抖音国际版，ChatGPT这一成就可谓前无古人，而这也正印证了AI技术的无限可能。在我国，ChatGPT相关话题也于近日登上热搜，一众AI相关公司也受到资本市场热捧。

　　然而，对于网络犯罪分子如何利用OpenAI平台，特别是ChatGPT来生成钓鱼邮件和恶意软件等恶意内容，业界众说纷纭，且已有颇多研究。在Check Point Research(CPR)今年初的报告中，描述了使用ChatGPT完成的一个完整的感染流程：从创建令人信服的鱼叉式网络钓鱼电子邮件到运行能够接受英文命令的反向shell。

　　CPR研究人员最近发现了一个网络犯罪分子使用ChatGPT来“改进”一款简易Infostealer恶意软件代码的实例。该恶意软件最早出现于2019年，虽然其代码并不复杂，也不难创建，但ChatGPT对其代码进行了优化。

　　图1.网络犯罪分子使用ChatGPT来改进Infostealer的代码

　　使用OpenAI模型

　　截至目前，可通过两种方法访问和使用OpenAI模型：

　　1、Web用户界面——用于使用ChatGPT、DALLE-2或OpenAI Playground。

　　2、API——用于构建应用、流程等。你可以使用自己的用户界面，在后台运行OpenAI模型和数据。

　　下面的示例显示了已将OpenAI的API模型整合到旗下应用的合法品牌。

　　图2.使用OpenAI的API模型的品牌

　　阻碍恶意内容创建的障碍

　　作为内容政策的一部分，OpenAI设置了相关障碍和限制，以阻止在其平台上创建恶意内容。ChatGPT在其用户界面上设置了一些限制来防止模型的滥用。举例来说，如果用户要求ChatGPT编写一封冒充银行的钓鱼邮件或创建一个恶意软件，系统将不会执行。

　　图3.ChatGPT对滥用请求的响应示例

　　绕过限制创建恶意内容

　　然而，CPR表示，网络犯罪分子正想方设法绕过ChatGPT的限制。在地下论坛上有关如何使用OpenAI API来绕过ChatGPT障碍和限制的讨论帖不断激增。

　　图4.网络犯罪分子对通过API将ChatGPT整合到其Telegram频道中表现出兴趣

　　当前版本的OpenAI API虽为外部应用所使用（例如，将OpenAI的GPT-3模型整合到Telegram频道中），但几乎没有任何防滥用措施。它并未实施ChatGPT在其用户界面上设置的限制或障碍，允许创建钓鱼邮件和恶意软件代码等恶意内容。

　　例1——Telegram OpenAI机器人即服务

　　在一个地下论坛上，CPR发现有网络犯罪分子正在宣传一项新创建的服务：支持无限制地使用OpenAI API的Telegram机器人。

　　图5.宣传Telegram OpenAI机器人的地下论坛广告

　　图6.在利用OpenAI API的Telegram机器人中创建的钓鱼邮件示例

　　图7.在利用OpenAI API的Telegram机器人中创建无防滥用限制的恶意软件代码的示例

　　作为商业模式的一部分，网络犯罪分子可以使用ChatGPT进行20次免费查询，此后每100次查询需支付5.50美元。

　　图8.基于OpenAI API的Telegram频道的商业模式

　　例2——网络犯罪分子提供的一个可绕过防滥用限制的简单脚本

　　网络犯罪分子创建了一个使用OpenAI API来绕过防滥用限制的简单脚本。

　　图9.可直接查询API并绕过限制来开发恶意软件的脚本示例

　　通过这些案例，Check Point观察到网络犯罪分子不断探索如何利用ChatGPT来满足其开发恶意软件和创建钓鱼邮件的需求。随着ChatGPT控制措施的改进，网络犯罪分子也将不断寻找新的方法来使用OpenAI模型。因此可以预见，随着AI技术的不断落地，网络犯罪分子的“技术成本”将进一步降低；随之而来的网络攻击数量也将不断增长。因此，以预防为主、以AI对抗AI的网络安全模式可能将成为未来几年的主要发展趋势。