트릴리온랩스가 과학기술정보통신부 산하 정보통신산업진흥원(NIPA)의 고성능 컴퓨팅 지원사업을 통해 국내 최초로 '확산 기반 트랜스포머 아키텍처'를 적용한 대규모 언어 모델 'Trida-7B' 개발에 성공했다고 29일 밝혔다.
기존 자기회귀 모델의 한계를 넘어 구글 제미나이 등 글로벌 빅테크들이 막 시도하기 시작한 차세대 디퓨전 모델 아키텍처를 국내 스타트업이 독자적으로 구현했다는 점에서 의미가 크다고 회사는 설명했다.
트릴리온랩스는 단어를 순차적으로 생성하는 방식 대신, 문장 전체를 병렬로 생성하는 확산 기술을 트랜스포머 아키텍처에 이식해 추론 속도와 효율성을 획기적으로 개선했다.
'Trida-7B'는 복잡한 수리적 사고를 요하는 ko_gsm8k(수학)에서 61.26점을 기록하며 엔비디아의 'Fast dLLM'(56.94점) 등 기존 글로벌 모델들을 앞섰다.
또 사용자의 복잡한 명령어를 얼마나 정확하게 수행하는지 측정하는 koifeval(한국어 지시 이행 능력)에서도 53.42점을 획득해 경쟁 모델 대비 성능 우위를 증명했다. 한국어 지식 이해 능력을 측정하는 kmmlu(한국어 상식)에서는 46.35점으로 최고점을 획득했다.
신재민 트릴리온랩스 대표는 “스타트업이 감당하기 힘든 막대한 연산 자원 확보 문제를 NIPA의 지원을 통해 해결하면서 연구 개발에만 매진할 수 있었다”며 “확산 기반 트랜스포머라는 차세대 아키텍처 선점을 통해 대한민국이 글로벌 AI 기술 경쟁에서 주도권을 확보하는 데 기여하겠다”고 밝혔다.
정현정 기자 iam@etnews.com
