과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 '독자 AI 파운데이션 모델'(독파모) 프로젝트 5개 정예팀이 1차 단계평가 과정에서 확보한 29종 데이터를 공개했다.
LG AI연구원, 업스테이지, SK텔레콤, 네이버클라우드, NC AI 등 독파모 1차 단계평가에서 겨룬 5개 컨소시엄의 약 1조5600조 토큰 규모 3544만건의 데이터를 27일 AI허브 홈페이지에 공유했다. 5개 컨소시엄이 각자 개발 전략에 맞춰 150억원 규모 정부 데이터 구축·가공 예산으로 확보한 데이터다.
사전학습에 필요한 대규모 데이터셋부터 영상·음성 등 멀티모달, 안전성 확보를 위한 레드티밍 데이터 등으로 구성돼 있다. 이론적으로 약 70~80B 수준 대형 AI 모델 학습에 사용될 수 있는 규모다.
네이버클라우드는 공개 영상 234만건과 방송 영상 52만건, 해당 영상클립 기반의 텍스트 1550만건과 음성 질의응답 1200만건을 함께 구축했다. 업스테이지는 1조 토큰 규모 대규모 사전학습 데이터와 50만건 사후 학습 데이터를 확보했다.
SK텔레콤은 수학·과학·법률 등 전문 도메인 영역 고난도 다단계 추론데이터, 음성·이미지 등 사후학습용 데이터와 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만건을 창출했다.
NC AI는 제조 분야 기술문서, 민원 상담 음성 등 현장 실제 데이터 기반 긴 문맥 이해, 단계별 추론, 멀티턴 대화, 질의 응답, 멀티 모달리티 등 거대언어모델(LLM) 핵심 역량 데이터 7종을 수급했다. LG AI연구원은 한국 가정환경에 최적화된 50여종 17만개 이상 피지컬 AI 멀티모달 데이터셋을 축적했다.
NIA와 한국정보통신기술협회(TTA)는 이번 데이터 개방을 위해 1차 단계평가 완료 후 구축·가공 예산으로 확보한 데이터 전체를 각 컨소시엄으로부터 제공받았다. 이후 데이터 품질검증, 개인정보·유해성 검증, 라이센스 제약 데이터 제외 등 조치를 진행했다.
5개 컨소시엄 중 네이버클라우드, 업스테이지, SK텔레콤, NC AI는 품질검증 등을 거친 데이터 전체를 개방했다. LG AI연구원은 의무 개방량 50% 이상 수준에서 공개 대상 데이터를 통계적으로 선별했다.
과기정통부는 독자 AI 파운데이션 모델 고도화를 위한 지원을 지속하고 2차 단계평가 과정에서 정부 예산이 투입된 데이터에 대해 품질 검증 등을 거쳐 개방을 추진할 예정이다.
김경만 과기정통부 인공지능정책실장은 “독자 AI 파운데이션 모델 프로젝트는 단순 AI 모델 개발을 넘어 개발과정에서 축적된 경험과 노하우로 AI생태계 전반 질적 성장에 기여한다는 점에서 큰 의미”라며 “이날 개방된 데이터는 정예팀 AI 학습 전략이 담긴 귀중한 자산인 만큼 AI 생태계 성장과 자생력 강화를 이끄는 밑거름이 될 것”이라고 말했다.
박종진 기자 truth@etnews.com
