인공지능 챗봇이 외부 웹페이지를 읽는 과정에서 이용자의 대화 정보가 제3자 서버로 넘어갈 수 있다는 보안 연구가 공개됐다. 단순한 요약 요청이 데이터 유출 경로로 바뀔 수 있다는 점에서, 모델 자체뿐 아니라 브라우징과 도구 실행을 연결하는 시스템 설계가 쟁점으로 떠올랐다.
AI 보안업체 Adversa AI는 20일(현지시간) 이 공격 방식을 ‘암호화 컨텍스트 인젝션’이라고 명명했다. 연구진은 xAI의 웹 챗봇 그록이 공격용 명령이 숨은 페이지를 요약할 때 이용자의 이름, 대략적인 위치, 구독 등급과 현재 대화의 질문 내용을 외부 주소의 매개변수에 담아 전송할 수 있었다고 밝혔다.
요약 요청이 외부 전송으로 이어진 경로
공격자는 평범해 보이는 웹페이지 안에 암호화된 명령과 복호화에 필요한 정보를 함께 배치한다. 이용자가 그록에 해당 페이지를 요약하거나 분석해 달라고 요청하면, 챗봇은 페이지를 불러온 뒤 자체 코드 실행 환경에서 암호문을 해독한다.
해독된 명령은 세션 안의 정보를 정리해 특정 인터넷 주소로 접속하라고 지시한다. 연구진의 시연에서는 이 접속 요청에 개인정보와 대화 내용이 포함됐으며, 별도의 확인창이나 경고 없이 외부 서버로 전송이 끝났다.
콘텐츠 필터를 피해 코드 실행 환경으로
핵심은 안전 필터가 입력된 문자를 분류할 뿐 암호 해독 코드를 직접 실행하지 않는다는 점이다. 연구진은 PBKDF2로 키를 만들고 AES-256-GCM 방식으로 암호를 푸는 과정이 챗봇의 코드 실행 환경에서 이뤄졌다고 설명했다.
이 때문에 처음에는 읽을 수 없던 공격 지시가 모델이 스스로 실행한 코드의 결과처럼 취급됐다는 것이 연구진의 분석이다. 외부 콘텐츠에서 시작된 정보가 신뢰된 실행 결과로 바뀌면서, 인터넷 접속 권한이 있는 도구 호출까지 이어졌다는 설명이다.
Adversa AI는 8월 19일에도 그록에서 공격을 재현했다고 밝혔다. 다만 공개된 내용은 통제된 실험 결과이며, 실제 이용자를 상대로 악용됐다는 사례는 확인되지 않았다. 연구진은 구체적인 공격 코드도 공개하지 않았다.
6월 신고 뒤 대응 일정은 공개되지 않아
연구진은 지난 6월 3일 xAI와 해커원 버그바운티 프로그램에 문제를 신고했다고 밝혔다. xAI는 신고를 접수했지만 구체적인 완화책이나 패치 일정을 알리지 않았고, 8월 4일과 10일 추가 연락에도 공식 답변을 받지 못했다고 전했다.
보고서는 암호화 여부만 판별하는 차단책보다 출처가 불명확한 콘텐츠와 권한 있는 도구를 분리하는 통제가 중요하다고 강조했다. 새로운 외부 주소 접속이나 되돌릴 수 없는 작업에는 이용자 확인을 요구하고, 도구 호출의 실제 인수와 실행 순서를 기록해야 한다는 권고다.
이번 사례는 웹 검색·코드 실행·외부 접속을 한 번에 처리하는 AI 에이전트에서 권한 경계가 왜 필요한지를 보여준다. xAI가 공식 패치 또는 보안 공지를 내놓기 전까지는 취약점 해소 여부를 단정하기 어렵다.