인간 뇌는 LLM과 달리 단어 순서에 민감하게 문장 의미를 처리한다

한줄 요약

인간 뇌는 단어 순서에 민감하게 문장 의미를 표상하는 반면, LLM은 순서보다 맥락에 더 의존하여 의미를 처리한다는 차이를 fMRI와 모델 분석으로 입증했다.

풀어야 하는 문제

인간과 LLM이 문장 의미를 처리하는 방식이 근본적으로 다른지, 특히 단어 순서가 의미 표상에 미치는 영향에서 차이가 있는지 규명하는 것.

접근 방법

참가자에게 fMRI 스캔 중 정상 문장과 단어 순서를 뒤섞은 문장을 제시하고, 뇌 활동 패턴을 분석했다. 동시에 GPT-2, BERT 등 여러 LLM의 내부 표상을 추출하여 인간 뇌 반응과 비교했다. 단어 순서 변화에 따른 의미 표상의 변화 정도를 측정하는 지표를 개발했다.

결과·기여

인간 뇌는 단어 순서가 바뀌면 의미 표상이 크게 달라지는 반면, LLM은 순서 변화에 상대적으로 덜 민감하고 문맥 정보를 활용해 유사한 표상을 유지했다. 이는 인간의 문장 처리가 통사적 구조에 기반한 반면, LLM은 분포적 의미에 의존함을 시사한다. 연구는 인간과 AI 언어 처리의 차이를 이해하는 데 기여한다.