“셜록홈즈처럼 글·사진 단서 연결”…AI 연쇄 추론 능력 극대화하는 학습·평가 체계 구축

△ 텍스트와 이미지에 흩어진 단서를 단계적으로 연결해 정답을 도출하는 과정을 보여주는 이미지. 노트북의 색상을 묻는 예시를 통해 교차모달 멀티홉 추론 구조와 근거 기반 답변 생성을 설명한다

AI가 셜록홈즈처럼 텍스트와 이미지 속 단서들을 넘나들며 똑똑하게 추리한다. 고려대학교(총장 김동원) 컴퓨터학과 서홍석 교수 연구팀이 AI의 고난도 연쇄 추론 능력을 획기적으로 높이는 학습·평가 체계 ‘CRIT(Cross-modal multi-hop Reasoning over interleaved Image-Text)‘을 개발했다. 

기존 AI는 글이나 그림을 단편적으로 이해하는 데는 뛰어나지만, 흩어진 여러 단서를 연결해 단계적으로 추론하는 문제에서는 한계를 지닌다. 또한 일부 AI 평가 방식의 경우, 특정 정보만으로도 답을 맞힐 수 있어 AI 모델의 실제 복합 추론 능력을 충분히 검증하지 못한다는 문제가 있었다.

CRIT는 AI 모델이 텍스트와 이미지 등 서로 다른 형태의 정보를 함께 이해(교차-모달)하고 여러 단계를 거쳐 결론에 도달하는 능력(멀티홉 추론)을 향상시키기 위해 제안됐다. 핵심은 텍스트와 시각 정보가 서로를 보완하도록 설계된 문제 구조다. CRIT는 자연 이미지, 영상, 과학논문 등 다양한 자료에서 텍스트와 시각 정보를 함께 활용해야만 답할 수 있는 문제를 자동으로 생성한다.

특히 연구팀은 내용 속 개체, 속성, 개체 간 관계를 그래프 형태로 구조화하고, 이를 기반으로 질문과 정답을 생성하는 방식을 도입함으로써 문제의 일관성과 근거성을 동시에 확보했다. 이를 통해 모델이 실제로 다양한 정보를 통합하고 여러 단계를 거쳐 추론하는지를 정밀하게 평가할 수 있다.

CRIT 데이터로 AI 학습을 진행한 결과, 일상 영상·이미지 분석부터 논문 및 도표 해석에 이르기까지 다양한 영역에서 추론 성능이 기존 대비 최대 두 배 이상 향상됐다. 최신 모델들조차 위 영역에서 전반적으로 낮은 성능을 보인다는 점을 감안하면 놀라운 성과다. 또한 CRIT로 학습한 모델은 특정 데이터셋에 국한되지 않고 복합 정보 이해 및 추론 능력이 전반적으로 강화되는 모습을 모였다.

*데이터셋: 인공지능 학습·평가용 문제 모음

연구팀은 이번 성과가 단순한 정보 인식을 넘어, 여러 정보 조각을 연결해 근거 기반으로 사고하는 인공지능으로 나아가는 중요한 단계가 될 것으로 기대하고 있다. 특히 과학 문헌 분석, 교육 콘텐츠 이해, 복합 문서 검색, 시각-언어 기반 AI 비서 등 실제 응용 환경에서의 활용 가능성이 클 것으로 전망했다.

본 연구 성과는 지난 6월 3일부터 7일까지 미국 콜로라도 덴버에서 개최된 AI 분야 최고 국제 학술대회 ‘CVPR 2026’에 채택, 발표됐다. 특히 학부생들이 제1저자와 공저자로 참여했다는 점에서 의미가 크다. 

*논문명: CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning

*URL: https://arxiv.org/abs/2604.01634

이번 연구는 ICT명품인재양성사업, AI스타펠로우십지원, 대학ICT연구센터(ITRC)의 지원을 받아 수행됐다.

[연구진 사진]

△ (왼쪽부터) 고려대 컴퓨터학과 서홍석 교수(교신저자), 성준영(4학년, 제1저자), 김민준(4학년, 공저자), 유승우(4학년, 공저자), 안수민 석박통합과정(공저자)