AI 聊天机器人对网络钓鱼的影响
高级人工智能时代的网络钓鱼活动演变
最先进的深度神经网络——一种用于实现人工智能(AI)的机器学习技术——几年来一直占据头条，因为它们能够翻译语言、写诗、生成推文或完成其他创造性任务。
最近，GPT-5、Gemini 和 Claude 这三个使用深度学习的对话式 AI 模型被誉为“颠覆性技术”。这些模型的能力都远远超越传统的聊天机器人。这些模型在回答问题和响应请求时，能生成更贴近人类表达的文本内容；同时，它们能够 “理解” 搜索查询或文字 “对话” 的上下文，并解读用户查询背后的真实意图。ChatGPT 的独特功能使其成为历史上增长最快的消费级应用。
AI 聊天机器人可以帮助人们获得令人印象深刻、接近人类的回应，甚至创建某些应用——它们的能力之高已经引起了人们的担忧，担心它们可能被黑客用来发动 AI 驱动的网络钓鱼攻击。
为了更好地理解 GPT-4 和 ChatGPT 的安全影响，重要的是需要了解如何“训练”它们来编写网络钓鱼活动内容，以及简单的钓鱼活动与高度个性化、有针对性的网络钓鱼活动之间有何不同之处。
攻击者总是利用各种最新趋势和技术，例如云存储服务、加密货币。因此，生成式 AI 的出现对企业来说是一个重要的提醒，即：需要确保其电子邮件安全解决方案能 够防范高级网络钓鱼活动，无论是谁或哪一方撰写的邮件。
让机器理解并生成文本
驱动当今 AI 聊天机器人的模型代表了自然语言处理(NLP)的全新里程碑。NLP 是人工智能的一个分支，使机器能够“理解”文本或口语，并以与人类几乎相同的方式作出反应。NLP 将基于规则的人类语言建模与各种模型相结合，以帮助计算机理解它们正在处理的内容。
许多应用——如社交媒体监控工具和 Siri 这样的语音助手——已经使用 NLP 多年。但是，Chat GPT-5、Gemini 和 Claude 基于数十亿文本和图像参数训练而成，无疑更加先进。
两者都代表了所谓的“大型语言模型”——一个基于神经网络的 NLP 模型，它被训练来预测对一个给定短语而言，最合乎逻辑的下一个单词是什么。这种训练技术生成的 NLP 模型也能很好地完成很多其他任务。
OpenAI（即 ChatGPT、GPT-4 及 GPT-5 的研发方）对这种技术的应用方式，堪称一项具有里程碑意义的成就。OpenAI 在训练方面比其他应用更进了一步，它使用新技术将人类的意见纳入产生的文本或图像，并进行专门的训练以遵循提示中的指示。因此，他们的模型经过调优，以生成更微妙的、人类般的对话。
ChatGPT 和 GPT-4 的善于言辞本意是好的。然而，网络犯罪分子可以利用它们的能力作为开发网络钓鱼活动的工具。
滥用 AI 聊天机器人
网络钓鱼是数据泄露的最常见原因，也是勒索软件的一个常见入口。
因为钓鱼电子邮件以社会工程手段来模仿合法实体，难以一眼识破。然而，从历史上来看，识别网络钓鱼信息(特别是那些由不会讲/写受害者母语的犯罪分子生成的信息)的特征包括语法错误、拼写错误或误用单词以及不正确的句子结构。
SlashNext 发布了其 2024 年中期网络钓鱼状况评估报告，其中显示过去六个月内网络钓鱼威胁（包括电子邮件、二维码、附件和多渠道攻击）增加了 341%。
Recorded Future 发现，在 ChatGPT 发布后数周内，暗网和特殊访问源的威胁参与者正在分享支持恶意软件开发、社会工程和虚假信息的概念 ChatGPT 对话。
有关攻击者利用 ChatGPT 和GPT-4 热度的报道也已经出现，例如：
2025 年，研究人员观察到假冒 ChatGPT 品牌（包括其名称、标识和用户界面）的网络钓鱼活动急剧增加，目的是传播恶意软件或窃取支付凭据。卡巴斯基报告称，此类攻击增长了 115%，波及超过 8500 家企业。2025 年 8 月，微软警告称，网络犯罪分子正在分发一个虚假的 ChatGPT 桌面应用，其中嵌入了一个名为 PipeMagic 的模块化后门和信息窃取程序，能够执行恶意有效负载，维持持久化控制，并能动态自我更新。
到 2025 年，网络安全专家警告称，诈骗者越来越多地使用ChatGPT 等 AI 工具来撰写完美无缺且极具说服力的网络钓鱼邮件，这使得传统的特征检测在 AI 网络钓鱼检测中失效，仅在过去一年中就导致了 166 亿美元的损失。
技术上，OpenAI 禁止将其模型用于“恶意软件生成”、“具有高经济危害风险的活动”、“欺诈或欺骗性活动”以及任何其他非法活动。他们的模型不会按照请求撰写钓鱼邮件或帮助创建钓鱼网站；然而，它们可以简化黑客创建网络钓鱼活动的方式。截至 2025 年中，网络安全专家警告说，生成式 AI 工具让攻击者能够迅速优化他们的消息内容——将网络钓鱼、短信钓鱼和电话钓鱼活动的内容变得高度定制化且语气自然，检测难度较以往大幅提升。若落入不法分子手中，ChatGPT 与 GPT-4 可能被滥用，用于制作外观更逼真、文案更精良的钓鱼信息及钓鱼网站 —— 这类内容能够绕过传统邮件安全防护或反钓鱼过滤工具。
在坏人手中，ChatGPT 和 GPT-4 可能被利用来创建更真实的、编写得更好的钓鱼信息和网站，从而可以避开传统的电子邮件安全或反钓鱼过滤器。
生成式 AI 如何用于网络钓鱼攻击？
攻击者知道，他们只需要引诱受害者进行一次点击或对话，就可以窃取凭据、信息或金钱。这在以下情境中显而易见：以求职者为目标的“假工作”网络钓鱼攻击，以捐赠者为目标的慈善骗局，以及以在线约会者为目标的浪漫诈骗。
今天，最强大的神经网络也不能“知悉”普通公民的个人信息，或任何一家公司的具体组织和通信结构。但是，如果攻击者将 AI 聊天机器人的能力与对目标对象的充分研究相结合，就可以大规模定制钓鱼消息——使用户更难识别恶意电子邮件。
网络犯罪分子已经使 用目标性极强的少量企业电子邮件破坏（BEC） 攻击来成功地欺骗组织。BEC 通常冒充与目标受害者经常联系的特定员工或高管。供应商电子邮件破坏 （VEC） 是 BEC 的一种形式，其核心手段是攻陷受信任第三方（如供应商或服务商）的账号，并模仿此前双方往来的邮件内容。由于 BEC 和 VEC 都利用“可信”关系来绕过传统的安全电子邮件网关，这些攻击仍然非常有效——而且造成损失也越来越高昂：2013 年到 2023 年，全球与 BEC 相关的损失攀升至 555 亿美元，仅 2024 年企业损失估计就达到 63 亿美元，单次事件平均损失 5 万美元。
利用 Zero Trust 防止所有渠道的网络钓鱼攻击
攻击者总是会利用新技术来达到目的。幸运的是，安全创新可以识别出绕过传统防御手段或用户意识的恶意信息。多年来，人们创建和训练了复杂的机器学习模型，可以仔细检查许多信号——而不限于文本或图像——以发现和阻止网络钓鱼。
电子邮件的头部和元数据字段中包含大量的附加信息，包括电子邮件从哪里发送、来源服务器基础设施及其传输路径。除邮件头之外，还需要评估消息中的其他细节，如特定 URL 和链接、附件、分发列表成员、语气等等。
Cloudflare 先发制人的电子邮件安全是其 Zero Trust 平台的组成部分，它会查看电子邮件内容生成的多个信号，包括：
情绪分析：检测模式和行为的变化(写作模式和表达)
结构分析：使用专门设计的启发式算法和机器学习模型对头部、正文、图像、链接和有效载荷等信号进行分析
信任图谱：评估合作伙伴的社交图谱、发送历史和潜在的合作伙伴假冒
Cloudflare 还利用了从平均每天 ~1900 亿次网络威胁和 610 亿次 DNS查询中获取的情报。通过这些情报，Cloudflare 客户可以屏蔽恶意域名，将用户与可疑的 Web 内容隔离，防止用户在钓鱼网站上泄露凭据，并阻止使用各种攻击手段的网络钓鱼。
这些技术及其他相关技术可帮助阻止攻击者利用用户在业务沟通中对他人的隐式信任。这种整体方法（即将 Zero Trust 扩展到威胁防御）基于三个核心原则：
先发制人：假设始终有人在准备发动钓鱼活动；扫描互联网以猎寻攻击基础设施，并在 AI 驱动的钓鱼攻击到达收件箱前予以拦截。
永不信任：不要仅仅因为已设置邮件身份验证、来自声誉良好的域或来自企业用户之前通信过的人而信任商业通信。
始终验证：即使用户和请求处于企业网络内部，也要不断验证每个用户和请求。
攻击者显然会使用任何现成的工具，例如新的 AI 聊天机器人，以改进他们的策略。持续防御，或者等待以确定新的网络威胁是否真实存在，会让组陷入更大的风险。反之，“先发制人”，“永不信任”和“始终验证”，以更好地防范任何钓鱼活动。
Cloudflare 就影响当今技术决策者的最新趋势和主题发布了系列文章，本文为其一。
深入探讨这个话题
阅读《确保安全的 AI 实践：CISO 创建可扩展 AI 策略的指南》，了解如何构建安全且可扩展的生成式 AI 战略，以管理风险、保护数据并确保合规性。
关键要点
阅读本文后，您将能够了解：
对话式 AI 聊天机器人如何生成文本
攻击者能如何利用 ChatGPT 或 GPT-4 创造网络钓鱼活动
如何防范 AI 生成的钓鱼威胁