금융 자연어처리 인공지능(AI) 전문기업 투디지트(대표 박석준)는 국내 거대언어모델(LLM) 생태계 확장을 위해 모델 공개 및 기술 이전을 결정했다고 19일 밝혔다.
투디지트가 공개한 모델은 한국지능정보사회진흥원(NIA)의 한국어 LLM 평가 리더보더인 '오픈 KO-LLM 리더보드'에서 국내 최초로 마의 60점을 돌파한 이후 새로 1200여개 가운데 1위를 차지하고 있는 모델이다.
이번 모델 공개는 국내 AI 분야에서 특별한 의미를 갖는다. 코드부터 데이터셋까지 모든 부분을 공개하면서 그동안 모델만 제한적으로 공개했던 기업과는 다르기 때문이다. 이에 따라 다른 기업들도 투디지트의 LLM 모델을 사용할 수 있게 됐다.
또한 모델을 구현하는 소스코드를 공개해 경쟁자들이 자신들의 모델을 만들 수 있게 됐다. 데이터셋 공개로 이번에 공개된 모델을 재학습하는 것도 가능하다. 즉, 경쟁자들이 투디지트의 기술로 '오픈 Ko-LLM 리더보드'에서 1등을 차지할 수 있게 됐다. 다른 AI 기업이 투디지트의 기술을 활용해 우수한 한국어 모델을 자체 개발할 수 있게 된 것이다.
이번에 공개한 자료와 모델은 사전학습된 범용 언어모델을 특정분야의 목적에 맞게 최고 성능을 낼 수 있도록 미세조정하는 노하우를 포함한 자연어 AI 핵심기술이다. 투디지트가 핵심기술과 노하우를 공개하는 것은 LLM 기업의 발전과 국내 AI 생태계 형성을 지원하기 위해서다.
김창연 투디지트 AI 랩 리더는 “이번에 공개한 모델과 기술로 앞으로 많은 기업들이 투디지트의 점수를 갱신하고 대한민국 AI 기술을 발전시키기를 바란다”고 말했다.
박석준 대표도 “모든 이들을 위해 대한민국 AI 기업들도 AI 기술을 공개하고 함께 발전하기 위한 노력에 동참해 주기를 바란다”고 당부했다.
투디지트가 공개한 AI 모델과 모든 데이터는 전 세계에서 오픈소스 프로젝트 관리를 위해 가장 많이 사용하는 깃허브에서 누구나 확인할 수 있다.
김한식 기자 hskim@etnews.com
