과학기술정보통신부와 한국정보통신기술협회(TTA)가 '생성형 인공지능(AI) 레드팀 챌린지(이하 레드팀 챌린지)'를 4월 11일~12일 이틀간 서울 삼성동 코엑스에서 개최한다.
'AI 레드팀'은 AI 시스템의 유해하거나 차별적 결과, 시스템 오용 등 결함·취약성을 식별하기 위한 구조화된 테스트 활동을 의미한다.
오픈AI, 구글, 네이버클라우드 등 국내외 AI 기업도 자체 AI 레드팀을 구성·운영하는 등 AI 기업이 AI 안전·신뢰성을 확보할 수 있는 핵심 방법으로 주목받고 있다.
대규모 참가자가 챌린지에 참여해 국내 AI 기업의 거대언어모델(LLM)을 집중 점검할 수 있는 장을 마련하는 게 이번 행사의 목적이다. 민간이 자율적으로 AI 안전·신뢰성을 확보할 수 있도록 지원할 방침이다.
행사 1일차에 열리는 '레드팀 챌린지'는 네이버클라우드·SKT·업스테이지·포티투마루 등 국내 대표 AI 기업의 모델을 대상으로 1000명의 참가자가 잠재적 위험·취약점을 식별하는 공개 챌린지 방식으로 진행된다. AI 윤리와 안전에 관심이 있는 국민이라면 신청·참여가 가능하다.
행사 2일차에는 에이단 고메즈 코히어 대표, 에마드 무스타크 스태이블리티 AI 대표, 크리스 메세롤 프론티어모델 포럼 의장, 댄 헨드릭스 xAI 안전 담당고문, 하정우 네이버 퓨처 AI 센터장, 에릭 데이비스 SKT 부사장, 김세엽 셀렉트스타 대표, 김경훈 카카오 이사, 오혜연 KAIST 교수 등 국내외 AI 기업·기관·전문가가 참여하는 '글로벌 AI 안전 컨퍼런스'를 개최하고 생성형 AI 안전·신뢰성 확보방안을 논의한다.
레드팀 챌린지 행사에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보하고, 자사 모델의 잠재적 위험·취약점 파악을 통해 안전성·신뢰성을 제고할 수 있는 계기가 될 전망이다.
과기정통부는 '레드팀 챌린지' 결과를 분석해 생성형 AI 분야의 공통·포괄적 위험을 도출하고, 업계에서 활용할 수 있는 '생성형 AI 레드팀 수행가이드라인'을 마련하는 등 표준화된 AI 위험 발굴·대응체계를 구축해 나갈 계획이다.
챌린지 참가 희망자는 4월 10일까지 행사 홈페이지를 통해 참가 신청이 가능하다. AI 모델의 위험·취약점을 가장 많이 발견한 총 5명의 우수 참가자에게는 과기정통부 장관상 등을 포함 총 1700만원 규모 상금을 제공한다.
강도현 과기정통부 2차관은 “이번 행사가 글로벌 차원에서도 AI 안전성 확보의 모범사례가 될 수 있기를 바란다”며 “5월에는 우리나라에서 'AI 안전성 정상회의'를 개최해 AI 안전성과 혁신에 대한 글로벌 논의를 주도하고, 국내 AI 혁신생태계를 조성해 나가겠다”고 강조했다.
김명희 기자 noprint@etnews.com
