조작 문서로 AI 검색·추론 경로 바꾼다…Agentic RAG 보안 취약점 규명

△ 기존 공격 기법으로 생성된 문서는 검색되더라도 Agentic RAG가 추론 과정에서 그 내용의 오류를 인지하고 원래 질문으로 복귀하여 문제를 해결하는 경우가 많다. 반면, KidnapRAG는 Agentic RAG의 추론 과정 자체를 방해하도록 설계되어, 공격 문서가 검색된 이후 에이전트가 잘못된 정보를 교정하거나 원래의 추론 경로로 복귀하지 못하도록 유도한다

AI가 스스로 자료를 찾아 답변하는 과정에서 외부의 조작된 문서만으로 잘못된 정보를 찾아가도록 유도할 수 있다는 사실이 밝혀졌다. 고려대학교(총장서리 정순영) 컴퓨터학과 장부루 교수가 이끄는 언어 및 지능 연구실(LILab)이 새로운 보안 취약점을 규명했다.

최근 챗지피티와 제미나이의 ‘딥 리서치’처럼 AI가 필요한 정보를 스스로 검색하고 추론을 반복해 답변을 만드는 ‘Agentic RAG(Agentic Retrieval-Augmented Generation)’ 기술이 확산하고 있다. 이때 외부 검색 결과에 포함된 조작된 정보가 추론 및 의사결정 과정에 영향을 미칠 경우, 시스템이 잘못되거나 편향된 답변을 사용자에게 제공할 수 있기 때문에 보안의 중요성이 커지고 있다.

이에 화이트 해커처럼 공격자의 관점에서 시스템의 취약점과 악용 가능성을 선제적으로 파악하는 연구가 활발히 이뤄지고 있다. 하지만 여러 단계의 검색과 추론을 반복하는 Agentic RAG가 실제 서비스 환경에서 어떻게 공격에 노출되는지를 체계적으로 분석한 연구는 여전히 부족한 상황이었다.

연구팀은 시스템 내부에 접근하지 않고도, 외부에 게시한 조작 문서를 Agentic RAG가 순차적으로 검색하도록 유도하는 공격 기법 ‘KidnapRAG’을 제안했다. 하나의 조작 문서로 최종 답변을 직접 변경하는 대신 검색 단계마다 조작 문서가 지속적으로 개입해 판단 방향을 점진적으로 바꾸고, 최종적으로 공격자가 의도한 답변을 생성하도록 유도하는 방식이다.

이때 KidnapRAG은 상용 Agentic RAG 서비스가 사용자에게 보여주는 검색 과정과 중간 정보를 활용한다. 공격자는 이를 통해 Agentic RAG가 다음에 어떤 정보를 찾을지 파악하고, 각 검색 단계에서 노출될 수 있도록 조작 문서를 설계한다.

KidnapRAG는 공격자가 의도한 응답을 생성하도록 효과적으로 유도했으며, 최대 78%의 공격 성공률을 기록했다. 연구팀은 이번 연구가 외부의 조작된 정보로 Agentic RAG의 검색·추론 경로가 왜곡되는 과정을 사전에 점검하고, 이를 탐지·차단하는 보안 기술을 설계하는 데 활용될 수 있다고 설명했다. 나아가 검색과 추론을 자율적으로 수행하는 AI 에이전트의 안전성과 신뢰성을 높이는 데 기여할 것으로 기대했다.

장부루 교수는 “이번 연구는 Agentic RAG가 빠르게 확산하는 시점에서, 실제 서비스 환경에 가까운 조건에서 검색·추론 경로가 공격받을 수 있음을 밝힌 시의적절한 연구”라며 “향후 Agentic RAG의 검색과 추론 전 과정을 검증하고 보호하는 방어 기술로 확장돼 보다 안전하고 신뢰할 수 있는 AI 에이전트 개발에 기여하길 기대한다”고 밝혔다.

본 연구 성과는 10월 24일부터 29일까지 헝가리 부다페스트에서 개최되는 자연어처리 분야 세계적 권위의 국제학술대회인 ‘EMNLP 2026’에 채택됐다. 

*논문명: KidnapRAG: A Black-Box Attack for Hijacking Reasoning in Agentic Retrieval-Augmented Generation Systems

이번 연구는 KT 프론티어랩와의 협업으로 이뤄졌다. KT–고려대학교 AICT R&D Center, 정보통신기획평가원(IITP)의 연구개발과제 지원을 받았다. 

[연구진 사진]

△ (왼쪽부터) 고려대 컴퓨터학과 장부루 교수(교신저자), 최찬우 석박통합과정(공동제1저자), 김은태 석박통합과정(공동제1저자), 이규호 석사과정(공동제1저자)