한국지능정보사회진흥원(NIA)과 한국정보통신기술협회(TTA)가 '인공지능(AI)허브'를 통해 대규모 언어 모델(LLM) 학습용 데이터 내 '유해 표현 검출 인공지능 모델 및 유해 표현 학습용 데이터'를 공개했다.
AI허브는 과학기술정보통신부와 NIA가 운영하는 국내 최대 AI 학습용 데이터 제공 플랫폼이다.
이번에 공개된 AI 모델은 주어진 말뭉치 데이터 내에서 유해 표현을 검출하고 다양한 유해 표현 카테고리로 분류하는 기능을 수행할 수 있다.
해당 AI 모델과 데이터는 과기정통부 초거대AI 확산 생태계 조성 사업의 일환으로 LLM 데이터 품질검증 과정에서 주요 특성 중 하나인 '유해성'을 측정하기 위해 개발됐다. 자체 성능 검증 결과 높은 정확도(80~90%)를 달성해 유해 표현 검출의 효용성을 입증했다.
AI 모델에 학습시키기 위해 구축된 데이터는 유해 표현 검출용 데이터 20만 건과 유해 표현 카테고리 구분용 데이터 21만 건으로 됐다.
해당 데이터는 한국어 유해표현 오픈소스 데이터를 토대로 AI허브 '온라인 구어체 말뭉치 데이터'와 '지식그래프-투-텍스트 데이터'를 활용해 문체 다양성(구어체, 문어체)을 확보하는데 중점을 뒀다.
또 국가인권위원회 혐오 표현에 대한 안내서 등과 같은 신뢰할 수 있는 가이드라인을 참조해 유해 표현과 유해 카테고리(11개)를 명확하게 정의하고 이를 재가공해 데이터 일관성과 신뢰성을 확보했다.
이번에 공개된 데이터와 AI 모델은 AI허브에 개방돼 누구나 활용할 수 있다.
황종성 NIA 원장은 “이번 AI 모델·데이터 공개가 한국어 LLM 신뢰성과 안전성을 강화하기 위한 계기가 될 것으로 기대한다”고 말했다.
김지선 기자 river@etnews.com
