지식 증류(Knowledge Distillation)는 성능이 높은 대형 인공지능(AI) 모델의 지식과 판단 방식을 더 작은 모델로 이전하는 기술이다. 처음부터 데이터를 모으고 막대한 연산 자원을 들이지 않아도 앞선 모델의 능력을 상당 부분 옮겨올 수 있다. 2015년 제프리 힌턴 등이 논문으로 체계화 했다. 지식 증류는 큰 모델을 '교사', 작은 모델을 '학생'으로 두고 교사의 출력값을 학생이 따라 배우게 하는 기법이다. 일반적인 AI 학습은

2026-10-13 13:52