AI 환각 악용한 '할루스쿼팅' 공격, 모든 에이전트 AI 모델 위협

텔아비브 대학교, 테크니온, 인튜이트의 연구진이 '할루스쿼팅(HalluSquatting)'이라는 새로운 인공지능(AI) 공격 기법을 공개했다. 이 기법은 AI 모델의 환각(hallucination) 현상을 악용하여 에이전트 AI가 잠재적으로 악성 코드를 실행하도록 유도한다. 연구 결과에 따르면, 에이전트 AI는 최대 85%의 확률로 악성 코드 저장소를 환각할 수 있는 것으로 나타났다. 이는 현대 AI 봇을 쉽게 속여 대규모 AI 에이전트 군단으로 활용할 수 있음을 시사한다.

에이전트 AI의 등장 이후, 보안 연구자들은 비결정론적 출력과 일관성 없는 입력 처리를 하는 대규모 언어 모델(LLM)에 사용자 수준 권한을 부여하는 것에 대해 지속적으로 경고해왔다. 할루스쿼팅은 이러한 경고의 심각성을 다시 한번 일깨우는 사례다. 이 공격은 봇이 익숙하지 않은 용어를 접했을 때, 그것이 잘못되었음을 인지하지 못하고 '올바른' 답변을 환각하는 특성을 이용한다.

할루스쿼팅의 메커니즘은 놀랍도록 간단하며, '적대적 환각 스쿼팅(adversarial hallucination squatting)'이라고도 불린다. 봇이 환각하는 답변을 생성하는 방식은 예측 가능하다는 점이 핵심이다. 예를 들어, GitHub URL의 경우 '소유자/저장소(owner/repository)' 또는 '도구이름/도구이름(toolname/toolname)'과 같은 패턴을 따른다. 이는 단순히 오타를 이용하는 기존의 타이포스쿼팅(typo-squatting)과는 달리, AI의 환각 메커니즘 자체를 악용한다는 점에서 차이가 있다.

공격자는 먼저 최근 몇 달 또는 몇 년 사이에 인기를 얻은 애플리케이션, 코드 저장소, 프로그래밍 라이브러리 또는 봇 스킬을 식별한다. 예를 들어, 'OriginalOwner/WindowsTelemetryOff'라는 GitHub 저장소가 있다고 가정해보자. 봇의 훈련 데이터가 최신 정보를 포함하지 않기 때문에, 'SuperHacker/WindowsTelemetryOff'나 'WindowsTelemetryOff/WindowsTelemetryOff'와 같은 유사한 GitHub URL 조합도 '정상적인' 것으로 인식될 수 있다. 심지어 'WindowsTelemetryOf'나 'WindowTelemetryOff'와 같은 오타가 포함된 이름도 유효한 후보가 된다.

공격자는 이렇게 생성된 이름들을 사용하여 악성 저장소를 만든다. 이후 Claude와 같은 코드 에이전트에게 "windowstelemetryoff 스크립트를 실행하라"와 같은 지시를 내리면, 에이전트는 해당 저장소 이름을 환각하고(때로는 웹 검색을 수행하기도 함), 원본처럼 보이는 악성 버전을 찾아내어 그 안에 있는 코드를 실행할 가능성이 높다. 이 시점부터 공격자의 코드가 사용자 기기에서 실행되므로, 모든 보안 장치가 무력화될 수 있다.

공격자의 코드가 사용자 기기에서 실행되면 다양한 심각한 결과가 발생할 수 있다. 가장 명백한 결과는 역방향 셸(reverse shell)을 생성하여 사용자 기기의 명령줄을 원격으로 제어하는 것이다. 이를 통해 공격자는 사용자 계정에 접근하여 데이터와 비밀번호를 빼내거나, 소프트웨어를 설치하거나, 암호화폐 채굴기를 실행하거나, 심지어 사용자 AI 에이전트를 추가적인 불법 행위에 활용할 수 있다. 이 모든 것이 데이터 센터의 강력한 컴퓨팅 자원을 동원하여 이루어질 수 있다.

단 하나의 할루스쿼팅된 소프트웨어 조각만으로도 수만 개 이상의 봇을 순식간에 유인할 수 있는 잠재력을 가지고 있다. 교활한 공격자는 악성 버전에 원본 코드를 모두 포함시켜, 사용자가 악성 코드 실행 사실을 인지하기 어렵게 만드는 추가적인 기만 전술을 사용할 수도 있다. 이러한 방식은 공격의 확산 속도와 피해 규모를 기하급수적으로 증가시킬 수 있다.

연구팀은 LLM이 최근 코드 저장소의 위치를 최대 85%의 확률로 환각하며, 유행하는 에이전트 스킬의 경우 이 수치가 100%에 달할 수 있음을 발견했다. Anthropic의 강력한 Claude Opus 4.5를 포함하여 모든 주요 모델이 광범위하게 영향을 받는 것으로 확인되었다. 애플리케이션 수준에서는 수치가 다소 나았지만, 여전히 심각한 수준이었다. Cursor, Gemini CLI, Copilot에서는 해킹 성공률이 20%~35%였으며, OpenClaw 및 그 변형에서는 80%~100%에 육박했다.

이러한 익스플로잇 메커니즘은 특정 봇을 위해 특별히 제작될 필요가 없으며, 연구 결과는 이것이 보편적이고 전이 가능하다는 것을 보여준다. 2025년에 게시된 샘플 GitHub 저장소 이름에 대한 평균 환각률은 92.4%에 달했지만, 2019년 또는 그 이전에 게시된 저장소의 URL을 잘못 인식하는 경우는 0.9%에 불과했다. 가장 효과적인 완화책은 작업 흐름을 조정하는 것이다. 즉, 봇에게 소프트웨어를 설치하기 전에 항상 웹 검색을 수행하도록 지시하고, 추가적인 컨텍스트 정보를 제공하는 것이다.

그러나 대부분의 사용자가 이러한 방식으로 봇을 사용하지 않는다는 점이 문제로 지적된다. 사이버 보안 전문가들은 오랫동안 봇의 행동을 맹목적으로 신뢰하지 말고 AI 에이전트에 부여되는 접근 수준을 엄격히 제한할 것을 주장해왔다. 그럼에도 불구하고, 사용자 기기, API 키, 접근 키, 서비스 계정 등에 광범위한 권한을 가진 봇을 흔히 볼 수 있다. 이는 봇이 "더 쉽게" 작업을 수행하도록 하기 위함이지만, 동시에 심각한 보안 위험을 초래한다.