Autodata: An agentic data scientist to create high quality synthetic data
Ilia Kulikov, Chenxi Whitehouse, Tianhao Wu, Yixin Nie, Swarnadeep Saha, Eryk Helenowski, Weizhe Yuan, Olga Golovneva 외
AI 에이전트가 데이터 과학자로 활동하여 고품질 합성 데이터를 생성하고, 에이전트 자체를 메타 최적화하여 데이터 품질을 더욱 향상시키는 방법을 제안한다.
기존 합성 데이터 생성 방법은 데이터 품질이나 다양성에 한계가 있으며, AI 모델 학습에 필요한 대규모 고품질 데이터를 효율적으로 확보하는 것이 어려운 문제이다.
Autodata는 AI 에이전트를 데이터 과학자로 설정하여 데이터 생성 과제를 수행하도록 하고, 에이전트 자체를 메타 최적화(메타 학습)하여 더 나은 데이터를 생성하도록 학습시킨다. 구체적인 구현으로 '에이전틱 셀프-인스트럭트(Agentic Self-Instruct)'를 제시한다.
컴퓨터 과학 연구 과제, 법률 추론 과제, 수학적 추론 과제에서 기존 합성 데이터 생성 방법보다 우수한 결과를 얻었다. 에이전트 자체를 메타 최적화하면 성능 향상폭이 더 커지며, 추론 연산량을 고품질 모델 학습으로 전환하는 새로운 방향을 제시한다.