전자현미경 이미지 분석을 위한 대규모 기반 모델

한줄 요약

EM-DINO와 OmniEM은 전자현미경 이미지 분석을 위한 최초의 대규모 기반 모델 및 통합 예측 아키텍처로, 다양한 생물학적 데이터에 걸쳐 일반화된 성능을 제공한다.

풀어야 하는 문제

전자현미경 이미지 분석은 데이터 이질성과 파편화된 워크플로우로 인해 확장 가능한 통찰을 얻기 어렵다. 기존 방법은 특정 작업에 특화되어 있어 다양한 조건에서 일관된 성능을 내기 어렵다.

접근 방법

EM-5M이라는 500만 개의 큐레이션된 EM 이미지 데이터셋을 구축하고, 이를 통해 EM-DINO라는 기반 모델을 사전학습한다. EM-DINO의 다중 스케일 임베딩을 활용하여 OmniEM이라는 U자형 아키텍처를 개발, 통합된 밀집 예측을 수행한다.

결과·기여

OmniEM은 이미지 복원에서 EM 특화 확산 모델과 동등한 성능을 내면서도 구조적 인공물을 줄였고, 2D/3D 미토콘드리아 분할 및 다중 클래스 소기관 분할에서 기존 방법을 능가했다. 또한 저해상도 입력에서 고해상도 분할을 생성할 수 있어 레거시 및 고처리량 데이터셋에 적용 가능하다.