AI 요약 시스템이 학술 지식을 얼마나 충실히 전달하는지 측정하는 재현 가능한 도구

한줄 요약

AI 요약 시스템이 학술 지식을 얼마나 충실히 전달하는지 측정하는 재현 가능한 계측기.

풀어야 하는 문제

AI 기반 요약 시스템이 학술 문헌을 요약할 때 정보의 충실도가 얼마나 유지되는지 객관적으로 평가할 방법이 부족하다.

접근 방법

두 개의 그래프(학술 그래프와 검색 그래프)를 구축하고, 그 차이를 압축 손실, 발명, 왜곡 등의 변수로 정량화한다. DOI 기반 시간 스냅샷을 통해 변화를 추적한다.

결과·기여

재현 가능한 측정 프로토콜과 코딩 루브릭을 제공하며, 계시록 연구를 통한 작업 예시를 포함한다. 이는 AI 요약 시스템의 신뢰성 평가에 기여한다.