해외에서도 인공지능(AI) 모델 개발방식으로 '프롬 스크래치' 정의는 제각각이다. 다만 제로베이스 상태에서 학습을 거듭해 자체 AI 모델을 개발하는 것이라는 방향성은 유사한 것으로 나타났다.
전자신문 조사에 따르면 2022년 11월 30일 '챗GPT'를 세상에 공개하며 생성형 AI 시장을 선도해온 오픈AI는 프롬 스크래치에 대해 초기 상태에서 AI 학습을 시작해 무작위로 수천만 번을 시도하는 훈련체계로 정의한다.
이미지나 영상 등을 생성하는 멀티모달 모델 역시 초기 단계부터 수천만 번의 학습을 통해 개발해야 한다고 부연한다. 사전 훈련된 모델 없이 완전히 새로운 모델을 구축하는 접근 방식이라는 것이다.
'제미나이'로 오픈AI를 바짝 추격 중인 구글은 프롬 스크래치를 파인튜닝(미세조정)과 대조되는 개념으로 본다. 프롬 스크래치 방식으로 모델을 구축하는 것은 상당한 자원을 소모하는 일인 반면 파인튜닝 개발 방식은 자원을 절약할 수 있다고 설명한다.
방대한 양의 데이터와 계산 능력을 요구하는 프롬 스크래치 방식과 비교해 파인튜닝이 보다 빠르고 적은 데이터를 필요로 한다고 부연했다. '무에서 유를 창조'하는 프롬 스크래치보다 파인튜닝이 보다 간편한 개발방식이라는 의미로 풀이된다.
통상 거대언어모델(LLM) 개발 시 AI 연산의 핵심인 가중치나 매개변수 값을 높이기 위해 최소 책 1억권 정도 학습은 필요하다는 게 공통 인식인 상황에서 프롬 스크래치 방식은 그래픽처리장치(GPU) 등 인프라 자원과 학습에 필요한 데이터셋, 시간 등 막대한 자원을 필요로 하기 때문이다.
AI 모델 매개변수는 모델이 입력 데이터를 바탕으로 예측이나 분류를 수행할 때 입력값이 출력에 미치는 영향을 수치로 표현한 파라미터 값이다. 매개변수의 값에 따라 모델 성능이 결정돼 학습을 하면 할수록 모델 성능과 정확도는 향상될 여지가 큰 것이다.
창사 115주년을 앞둔 빅테크 소프트웨어(SW) 기업 IBM 역시 프롬 스크래치에 대해 파인튜닝과 비교하며 AI 모델이 아무것도 학습하지 않은 상태에서 매개변수를 수학적 연산에 적용되는 다양한 가중치와 편향을 무작위로 초기화하는 것에서 시작한다고 보고 있다.
모델이 학습 데이터셋에서 추출한 샘플 입력값에 대해 예측을 수행하고 손실 함수는 각 입력값에 대한 모델의 예측값과 정답 또는 실제 값 사이 손실을 측정하거나 알고리즘을 활용해 전체 모델 가중치를 조정하는 등의 방식을 거듭하며 AI 모델을 개발해야 한다는 것이다.
또 오픈AI 대항마를 자처하며 '클로드'를 제공하는 앤트로픽 역시 프롬 스크래치를 기존 자료나 경험을 버리고 완전히 새로운 방식으로 시작하는 것을 의미한다고 규정한다. 특정 알고리즘이나 시스템을 구성할 때 선행된 구현체를 참고하지 않고 완전한 초기 상태에서 개발을 시작하는 방법론이라는 의미다.
'라마'로 AI 오픈소스 시장을 선도해온 페이스북 운영사 메타는 빅테크 기업 중 프롬 스크래치를 가장 엄격하게 정의했다. AI 모델 개발 과정에서 기존 코드는 물론이고 모델, 아키텍처 또는 외부 프레임워크를 재사용하지 않고 기초 단계부터 모든 것을 새로 구축하는 방법론이라고 설명한다.
완전한 초기 상태에서 개발을 시작해 구현 대상의 내부 메커니즘에 대한 깊은 이해를 유도하며 학습용이나 연구개발 초기단계에서 활용되는 개념이라는 것이다. 특히 사전 훈련이 이뤄진 기성모델이나 라이브러리를 사용하지 않는 것을 특징으로 판단했다.
박종진 기자 truth@etnews.com
