NiCLIP: Neuroimaging contrastive language-image pretraining model for predicting text from brain activation images
Peraza, J. A., Kent, J. D., Nichols, T. E., Poline, J.-B., de la Vega, A., Laird, A. R.
NiCLIP은 뇌 활성화 이미지와 텍스트를 정렬하여 인지 작업을 예측하는 대조 학습 기반 신경영상 분석 모델이다.
뇌 활성화 지도로부터 인지 과정을 예측하는 기능적 디코딩은 오랫동안 난제였다. 기존 메타분석 방법은 제한된 지표로 인해 출판물의 텍스트 의미를 충분히 활용하지 못했다.
23,000개 이상의 신경과학 논문 전체 텍스트를 사용해 CLIP 모델을 학습시켜 텍스트와 뇌 활성화 패턴 간의 대조적 정렬을 수행했다. 정제된 인지 온톨로지를 적용하고, BrainGPT와 같은 미세조정 LLM을 활용했다.
그룹 수준 활성화 맵에서 감정, 언어, 운동 등 여러 영역의 인지 작업을 정확히 예측했으며, 편도체, 해마, 측두두정접합부의 기능적 역할을 특성화했다. 개인 수준 맵에서는 잡음에 취약했지만, 정량적 기능 디코딩의 중요한 진전을 이루었다.