AI 챗봇이 피싱에 미치는 영향
첨단 AI 시대의 피싱 진화
인공 지능(AI) 구현에 사용되는 머신 러닝 기술의 한 종류인 첨단 심층 신경망 네트워크는 언어를 번역하고, 시를 쓰고, 트윗을 작성하는 등 창의적인 임무를 수행해 내는 능력으로 수년간 헤드라인을 장식했습니다.
최근에는 딥러닝을 이용하는 대화형 AI 모델 세 가지인 GPT-5, Gemini, Claude가 “게임 체인저”로 각광받고 있습니다. 모든 챗봇은 기존의 챗봇보다 훨씬 더 다재다능합니다. 질문과 요청에 사람과 훨씬 비슷하게 텍스트로 답변할 수 있고, 검색 요청이나 작성된 ‘대화’의 맥락을 ‘이해’하고 사용자의 요청에 숨겨진 의도를 해석해낼 수도 있습니다. 고유한 기능을 갖춘 ChatGPT는 역사상 가장 빠르게 성장하는 소비자 애플리케이션이 되었습니다.
AI 챗봇은 인상적으로 사람 같은 답변을 수집하거나 심지어 일종의 애플리케이션을 만드는 데 유용할 수도 있습니다. 이러한 능력 때문에 해커들이 피싱 캠페인을 만드는 데 악용될 수 있다는 우려까지 나오고 있는 실정입니다.
GPT-4 및 ChatGPT가 보안에 미치는 영향을 더 잘 이해하려면 두 모델이 피싱 캠페인용 콘텐츠를 작성하도록 ‘학습하는’ 방식과 더불어 간단하고 매우 개인적인 캠페인과 목표를 정한 피싱 캠페인 간의 차이까지 이해해야 합니다.
클라우드 스토리지 서비스부터 암호화폐까지, 공격자들은 항상 최신 트렌드와 기술을 악용합니다. 이렇게 생성형 AI가 부상하면서 조직에서는 누가, 또는 무엇이 메시지를 작성하든 첨단 피싱 캠페인을 차단할 수 있는 이메일 보안 역량을 갖추어야 한다는 사실을 다시금 중시하게 되었습니다.
텍스트를 이해하고 생성할 수 있는 기계
오늘날의 AI 챗봇 모델은 자연어 처리(NLP)에 있어서도 새로운 지평을 열었습니다. 자연어 처리는 기계가 사람과 매우 유사한 방식으로 텍스트나 대화를 ‘이해’하고 응답할 방법을 연구하는 AI의 한 갈래입니다. NLP는 규칙 기반의 인간 언어 모델링을 다양한 모델과 결합하여 컴퓨터가 처리 중인 콘텐츠를 이해할 수 있도록 도와줍니다.
NLP는 소셜 미디어 모니터링 툴이나 Siri 등의 음성 비서와 같이 다양한 애플리케이션에서 수년간 이용되고 있습니다. 하지만 수십억 개의 텍스트 및 이미지 파라미터로 훈련받은 ChatGPT-5, Gemini, Claude는 이보다 월등히 앞서 있습니다.
두 모델 모두 신경망 기반 NLP 모델로 주어진 문구 다음에 오는 가장 논리적인 단어가 무엇인지 예측하도록 훈련받은, 이른바 "대규모 언어 모델"을 대표합니다. 밝혀진 바로는, 이 훈련 기법으로 만든 NLP 모델은 다른 많은 작업에도 능숙합니다.
OpenAI(ChatGPT, GPT-4, GPT-5의 개발사)에서 이 기법을 적용한 방식은 그 자체로 중대한 이정표입니다. OpenAI는 생성된 텍스트 또는 이미지에 대한 인간의 의견을 통합하는 새로운 기술과 프롬프트에 나타난 지시를 따르도록 하는 특수 훈련을 사용하여 다른 애플리케이션보다 한 단계 더 발전한 훈련을 구현했습니다. 결국 두 모델은 인간과 유사하게 더 맥락에 맞게 대화할 수 있을 만큼 정교하게 발전했습니다.
ChatGPT 및 GPT-4가 생성하는 논리적인 응답들은 의도가 선합니다. 하지만 사이버 범죄자는 피싱 캠페인을 개발하는 도구로 이러한 성능을 악용할 수 있습니다.
AI 챗봇 남용
피싱은 가장 일반적인 데이터 유출 원인이자, 랜섬웨어 진입점으로 흔히 이용됩니다.
피싱 이메일은 합법적인 법인인 척하도록 소셜 엔지니어링되어 있기 때문에 한눈에 알아채기 어려울 수 있습니다. 하지만 일반적으로 피싱 메시지를 구별할 공통점(특히 희생자의 모국어를 말하거나 쓰지 못하는 범죄자가 만든 피싱일 때)으로는 조악한 문법, 오타, 용법에 맞지 않은 단어, 불완전한 문장 구조 등이 있습니다.
SlashNext는 2024년 피싱 상태에 대한 중간 평가를 발표했으며, 이 평가에서 지난 6개월 동안 피싱 위협(이메일, QR 코드, 첨부 파일, 멀티 채널 공격 포함)이 341% 증가한 것으로 나타났습니다.
Recorded Future는 ChatGPT 출시 후 몇 주 동안 다크웹과 전용 액세스 소스에 위치한 위협 행위자들이 맬웨어 개발, 소셜 엔지니어링, 허위 정보 배포를 뒷받침하는 개념 증명 ChatGPT 대화를 공유해 왔다는 점을 밝혀냈습니다.
ChatGPT 및 GPT-4의 인기를 악용하는 공격자들에 대한 보고도 있었습니다.
2025년, 연구자들은 ChatGPT의 이름, 로고, 사용자 인터페이스를 스푸핑하여 맬웨어를 퍼뜨리거나 결제 정보를 수집하는 피싱 캠페인이 급증했다고 관찰했으며, Kaspersky는 이러한 공격이 8,500개 이상의 기업을 대상으로 115% 증가했다고 보고했습니다. 2025년 8월, Microsoft는 사이버 범죄자들이 악의적인 페이로드를 실행하고 지속성을 유지하며 동적으로 업데이트할 수 있는 PipeMagic이라는 모듈식 백도어와 정보 탈취기가 내장된 가짜 ChatGPT 데스크톱 애플리케이션을 배포하고 있다고 경고했습니다.
2025년, 사이버 보안 전문가들은 사기꾼들이 ChatGPT와 같은 AI 도구를 사용하여 완벽하고 매우 설득력 있는 피싱 이메일을 작성하고 있다고 경고합니다. 이는 AI 피싱 감지를 위한 기존의 감지 신호를 무용지물로 만들고, 지난 1년 동안 피해자들에게 166억 달러의 손해를 입힌 사기를 가능하게 했습니다.
기술적으로, OpenAI는 “맬웨어 생성”, “경제적 해를 끼칠 위험이 큰 활동”, “사기 또는 기만 행위”, 그 밖의 불법 행위에 자사의 모델을 악용하는 행위를 금지합니다. OpenAI의 모델은 사용자가 요청하더라도 피싱 이메일을 작성하거나 피싱 웹 사이트를 생성하지 않습니다. 하지만 해커가 피싱 캠페인을 생성하는 방법을 간소화해줄 수는 있습니다. 2025년 중반, 사이버 보안 전문가들은 생성형 AI 도구가 공격자들이 메시지를 신속하게 다듬어 피싱, 스미싱, 비싱 캠페인을 고도로 맞춤화되고 자연스러운 콘텐츠로 만들 수 있도록 도와주기 때문에 이를 감지하기가 그 어느 때보다 어려워졌다고 경고합니다. 잘못된 손에 들어간 ChatGPT와 GPT-4는 더욱 진짜 같고 잘 작성된 피싱 메시지와 웹 사이트를 만들어, 전통적인 이메일 보안 필터나 피싱 방지 필터를 무력화하는 데 악용될 수 있습니다.
잘못된 손에 들어간 ChatGPT와 GPT-4는 더욱 진짜 같 고 잘 작성된 피싱 메시지와 웹 사이트를 만들어, 전통적인 이메일 보안 필터나 피싱 방지 필터를 무력화하는 데 악용될 수 있습니다.
생성형 AI는 피싱 공격에 어떻게 활용될 수 있을까요?
공격자들은 한 번의 클릭이나 대화로 희생자를 유인하기만 하면 자격 증명, 정보나 돈을 빼앗을 수 있다는 점을 알고 있습니다. 이 점은 구직자를 노리는 ‘가짜 구인’ 피싱 공격, 기부자를 노리는 가짜 자선단체 스캠, 온라인에서 짝을 찾는 사람들을 노리는 데이트 스캠 등에서 특히 그렇습니다.
오늘날의 가장 강력한 신경망조차 일반 시민의 개인 정보나 어떤 회사의 구체적인 조직 구조, 커뮤니케이션 구조를 ‘알 수는 없습니다’. 하지만 공격자들이 AI 챗봇의 능력과 더불어서 목표로 삼은 희생자에 대해 충분히 조사까지 수행하면, 악의적인 이메일임을 사용자가 알아채기 더 어려운 맞춤 피싱 메시지를 작성할 수 있습니다.
이미 사이버 범죄자들은 목표물을 예리하게 겨냥한 저용량 비즈니스 이메일 손상(BEC) 공격으로 조직을 속이는 데 성공하고 있습니다. 보통 BEC에서는 희생자가 정기적으로 연락하는 특정 직원이나 임원을 사칭합니다. 벤더 이메일 손상(VEC)은 BEC의 형식을 띠고 있으며, 믿을 수 있는 서드파티(벤더 또는 협력업체)의 계정을 사칭해 이전에 이미 교환했던 메시지를 따라합니다. BEC와 VEC는 모두 기존의 보안 이메일 게이트웨이를 우회하기 위해 '신뢰할 수 있는' 관계를 악용하므로, 이러한 공격은 여전히 매우 효과적이며 점점 더 많은 비용을 발생시킵니다. BEC 관련 손실은 2013년부터 2023년까지 전 세계적으로 555억 달러에 달했으며, 2024년에는 기업들이 약 63억 달러의 손실을 입었고, 평균 사고 비용은 5만 달러였습니다.
Zero Trust를 이용해 모든 채널에서 피싱 차단
공격자들은 항상 이익을 위해 새로운 기술을 악용합니다. 다행히, 보안 혁신 기술을 통해 기존의 방어 수단을 우회하고 사용자가 인식하지 못하는 악의적 메시지를 구별할 수 있습니다. 지난 수년간 만들어진 정교한 머신 러닝 모델은 단순한 텍스트나 이미지 그 이상으로 다양한 신호를 조사해 피싱을 감지하고 차단하도록 훈련을 받았습니다.
이메일 메시지에는 제목과 메타데이터 필드에 이메일 발신 위치, 원본 서버 인프라, 전송 경로 등 추가 정보가 상당히 많습니다. 그러므로 제목 외에도 특 정 URL과 링크, 첨부 파일, 메일 수신 목록 구성원, 어조 등 메시지에 담긴 기타 세부 정보들도 분석해야 합니다.
Cloudflare의 선제적인 이메일 보안 솔루션은 Zero Trust 플랫폼의 일부로 이메일 콘텐츠에서 생성된 다양한 신호를 감지합니다.
감정 분석을 통해 패턴 및 행동(작성 패턴 및 표현)의 변화를 감지합니다
구조 분석을 수행하여, 신호를 감지하도록 설계된 휴리스틱 및 머신 러닝 모델로 제목, 본문, 이미지, 링크, 페이로드를 분석합니다
신뢰 그래프를 통해 파트너 소셜 그래프, 전송 기록, 잠재적인 파트너 사칭을 평가합니다
Cloudflare에서는 매일 차단되는 평균 ~1900억 건의 사이버 위협과 일일 DNS 쿼리 610억 건으로 파악한 인텔리전스를 활용합니다. 이 인텔리전스를 통해 Cloudflare 고객은 악의적인 도메인을 차단하고, 사용자를 의심스러운 웹 콘텐츠로부터 보호하고, 사용자가 피싱 웹 사이트에서 자격 증명을 노출시키지 않도록 예방하고, 다양한 공격 벡터에서 피싱을 차단할 수 있습니다.
여기에 기타 기법들까지 더하면 공격자가 비즈니스 커뮤니케이션에 대한 사용자의 무의식적인 신뢰를 악용하지 못하게 막을 수 있습니다. Zero Trust를 위협 방어 목적으로 확대한다는 전반적인 접근법에는 세 가지 핵심 원칙이 깔려 있습니다.
침해라고 가정: 피싱 캠페인이 항상 설정되고 있다고 가정합니다. 인터넷을 스캔하여 공격자 인프라를 사전에 찾아내고 AI 기반 피싱 공격이 받은 편지함에 도달하기 전에 차단합니다.
절대 믿지 말라. 이메일 인증 솔루션이 갖추어져 있고, 널리 알려진 도메인에서 온 이메일이고, 전에도 기업 사용자와 소통했던 사람이 보낸 이메일이라는 이유만으로 비즈니스 커뮤니케이션을 무조건 믿지 마세요.
항상 인증하라. 기업 네트워크에 속한 사용자와 요청이라고 해도 매번 계속 확인하세요.
공격자는 새로운 AI 챗봇처럼, 사용할 수 있는 모든 도구를 활용하여 전략을 강화합니다. 계속 방어적으로만 행동하고 사이버 위협이 실제로 새롭게 나타나는지 판단하기를 주저한다면 조직이 더 큰 위험에 처할 수 있습니 다. 피싱 캠페인을 더 잘 방어하고 싶다면 “침해라고 가정하라,” “절대 믿지 말라,” “항상 인증하라”는 원칙을 따르세요.
이 글은 오늘날의 기술 의사 결정자에 영향을 주는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
이 주제에 관해 자세히 알아보세요.
안전한 AI 관행 보장: 확장 가능한 AI 전략 수립 방법에 대한 CISO 가이드에서 위험을 관리하고, 데이터를 보호하고, 규정 준수를 보장하기 위한 안전하고 확장 가능한 생성형 AI 전략을 구축하는 방법을 알아보세요.
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
대화형 AI 챗봇이 텍스트를 생성하는 방법
공격자가 피싱 캠페인 생성을 위해 ChatGPT 또는 GPT-4를 악용하는 방법
AI가 생성한 피싱 위협을 방어하는 방법