대학원 소식
신운섭 박사과정, 언어학 이론과 데이터로 AI의 블랙박스 문제 분석(지도교수:송상헌)
2023.02.06 Views 311
인공지능, 언어구조 이해와 문장처리 오류 모두 사람처럼 한다
“장거리 의존 관계로 인공지능 언어 능력 탐구”
신운섭 박사과정, 언어학 이론과 데이터로 인공지능의 블랙박스 문제 분석
향후 인문학에 기반한 인공지능 연구 외연 확장 기대
연구 결과, ‘Frontiers in Psychology’ 게재돼
▲ 제1저자 신운섭 박사과정(왼쪽), 공동 교신저자 송상헌 교수(오른쪽)
문과대학 언어학과 신운섭 박사과정(지도교수 송상헌 교수)이 언어학 이론과 데이터를 활용하여 인공지능의 신뢰성을 떨어뜨리는 ‘블랙박스(Blackbox) 문제’를 분석한 연구 결과를 발표했다.
해당 연구 결과는 심리학 분야 최대 인용 국제전문학술지 ‘프론티어즈 인 사이콜로지(Frontiers in Psychology)’에 1월 27일 오후 4시(한국시간 기준) 온라인 판에 게재됐다.
* 논문명: Investigating a neural language model’s replicability of psycholinguistic experiments: a case study of NPI licensing
* 저널명: Frontiers in Psychology
* 저자정보: 신운섭(제1저자, 고려대_언어학과_박사과정), 이은경(공동교신저자, 이화여대_영어교육과_조교수), 송상헌(공동교신저자, 고려대_언어학과_부교수).
최근 심층학습(Deep learning) 기반의 인공지능이 사람과 쉽게 구별하기 어려운 성능을 보여줌에 따라, 인공지능이 정말로 사람처럼 언어 구조를 이해하는지 인문학적 질문이 제기되어왔다.
예를 들어, 오픈 에이아이(OpenAI)가 공개한 인공지능 ‘ChatGPT’는 인간을 대신하여 연설문·신문기사를 매우 그럴듯하게 작성할 수 있지만, 종종 질문의 의도를 벗어난 틀린 답변을 반복하는 오류가 있다. 그러나 인공지능의 내부 작동 방식을 알 수 없다는 구조적 한계로 인하여 인공지능에게 다양한 입력값을 제시하고 출력값을 체계적으로 평가하는 것이 중요하다.
자연어(natural language)의 분포는 선형적인 특성과 언어 고유의 구조적인 특성을 모두 갖는다. 선형적인 특성은 어떤 단어의 사용이 이전 시점의 단어 사용과 관련이 있다는 매우 일반적인 특성이다. 반면, 언어 고유의 구조적인 특성은 체계적인 규칙에 근거하는 단어 사용을 말하며, 선형적 특성과 구별되는 장거리 의존 관계(long-distance dependency)가 중요하다. 인공지능의 뛰어난 성능이 우연에 의한 것인지, 또는 자연어를 이해하기 때문인지 탐구하려면, 인공지능이 언어 고유의 규칙에 따라 사고하는지 판별할 수 있는 입력값을 제시하는 것이 필요하다.
연구진은 영어의 규칙적 현상인 ‘부정극어 인허’를 장거리 의존 관계로 가공하여 인공지능의 입력값으로 제시했다(그림 1). 분석에 사용된 인공지능인 양방향 트랜스포머 인코더 모형(Bidirectional Encoder Representations from Transformers; 이하 BERT)은 언어 규칙을 위반하는 부정극어 인허를 인간과 유사한 수준으로 매우 정확하게 포착하는 것으로 나타났다.
* 부정극어 인허(Negative Polarity Item Licensing) : 인간은 유한 수의 단어로 무한 수의 문장 조합을 산출하지만, ‘아무도 밥을 먹었다’와 같이 허용되지 않는 표현이 존재함. ‘아무도’와 같은 표현은 부정극어로 일컬어지며, 부정어 표현 또는 문맥이 반드시 같이 출현해야함. 언어 표현의 의미와 문장의 수용성이 체계적으로 상호작용하는 보편적인 문법 현상으로, 인간의 고유한 언어 능력을 분석할 수 있는 매우 중요한 문법 현상임.
특히, 인간의 인지 기제(cognitive mechanism)와 깊은 연관이 있는 문법적 착시(grammatical illusion) 현상을 확장하여, BERT가 인간처럼 문장 처리 오류를 보이는지 분석하였다(그림 2). 분석 결과, BERT는 인간처럼 문법적 착시를 보인다는 점에서 인간의 인지 기제를 모방할 수 있는 잠재력이 있음을 알 수 있었다. 다만, 단어 사용에서 명시적으로 나타나지 않는 함축(implicature)적인 부정어 표현은 어려워했다.
신운섭 고려대 박사과정은 “인공지능을 실생활에서 매우 가깝게 접하기 때문에 사람과 인공지능의 관계에 대한 인문학적 질문은 늘상 제기돼왔다. 발표된 연구 성과는 인문학이 실생활과 괴리된 학문이 아니라 인공지능을 체계적으로 분석하는 과학적 방법으로써 인간과 인공지능의 이해를 풍부하게 할 것으로 기대한다.”고 말했다.
지도교수인 언어학과 송상헌 교수는 “인문학을 전공한 순수 국내파 대학원생이 해외 유명 저널에 제1저자로 게재하는 것은 흔치 않은 일”이라며, “국내에서 연구한 성과가 해외에서 인정받아 더욱 의미가 있다.”고 말했다.
이번 연구는 한국연구재단이 추진하는 4단계 BK21 언어학교육연구팀의 지원으로 수행됐다.
[ 그 림 설 명 ]
(그림1) 인공지능의 언어 능력 탐구에 사용된 장거리 의존 관계 문장 세트
(상단 그림) 부정극어 ‘ever’ 인허에 관한 전통적인 의미 이론적 개념 체계이다.
(하단 그림) 인공지능의 문장 처리 패턴과 언어 이해 수준을 체계적으로 판별하기 위한 평가용 문장 세트이다.
(그림2) BERT의 부정극어 인허 처리 패턴 그림
(상단 그림) 인간에게 문법적 착시를 유발하는 부정극어 인허 문장을 BERT가 어떻게 처리하는지 보여준다. BERT는 비문법적인(ungrammatical) 부정극어 사용이 마치 문법적인 것으로 착각하여 처리한다는 점에서 BERT 또한 인간처럼 문법적 착시에서 자유롭지 못하다.
(하단 그림) 인공지능의 문장 처리 패턴과 언어 이해 수준을 체계적으로 판별하기 위한 평가용 문장 세트이다.
(그림3) BERT의 부정 극어 ever와 빈도 부사 often의 언어 처리 패턴 비교 그림
(상단 그림) 장거리 의존 관계를 갖는 부정극어 ever와 그렇지 않은 단순 빈도 부사 often을 비교하여 BERT의 문법적 착시가 장거리 의존 관계에 한정되는 패턴인지 보였다.
(하단 그림) 부정어 표현과 의미적 관계를 갖는 부정극어 ever와 그렇지 않은 단순 빈도 부사 often을 비교하여 BERT가 부정어 표현의 미묘한 의미적 차이를 포착하는지 보였다.
file
