AI·소프트웨어(SW) 테스트 전문기업 STA테스팅컨설팅은 의료 분야 생성형 인공지능(AI)의 안전성을 검증하는 레드팀 시험평가 플랫폼의 대규모 실증 결과를 발표했다.
레드팀 시험은 AI에 의도적인 공격을 시도해 잘못된 답변이나 정보 유출 등 취약점을 확인하는 검증 방식이다. 이번 실증은 식품의약품안전처 출연연구개발사업인 'AI 기반 디지털의료제품 안전성·신뢰성 확보 기술개발 연구'의 세부 과제로 진행됐다. 해당 과제는 2025년부터 2027년까지 3년간 추진되며, STA테스팅컨설팅은 레드팀 플랫폼과 AI 심사 엔진의 개발·운영을 담당하고 있다.
연구진은 지난 9월 3일 열린 '2026 첨단AI 디지털의료제품 레드팀 챌린지'에서 플랫폼을 실증했다. 산업계와 공공·의료·학계, 대학·고등학교 재학생 등 123명, 30개 팀이 참여했다. 실증에는 국내외 상용 모델과 개방형 모델, 의료 특화 모델 등 12종이 활용됐다. 참가자들이 제출한 공격은 총 1만7601건으로, 이 가운데 5843건이 성공으로 판정됐다. 전체 공격 성공률은 33.2%였다.
플랫폼은 의료 분야 특화 위험 분류체계 'MedRTC-TAX v2.0'을 기반으로 한다. 임상 정확성·환자 안전·보안·법과 윤리·공정성과 접근성·인간과 AI의 상호작용·개인정보 등 8대 범주와 44개 위험유형을 바탕으로 시드질문 807개를 마련했다. 제출물마다 인간 심사원 3명과 AI 심사원 2명이 평가하고, 5명 중 3명 이상이 승인하면 공격 성공으로 판정하는 방식이다.
연구진은 모델별 안전성 차이와 함께 대화를 누적하거나 역할을 설정해 답변을 유도하는 공격에 대한 취약성을 확인했다.
STA테스팅컨설팅은 2027년 카테고리별 안전성 점수와 평가 보고서 형식을 표준화하고 식약처 심사 지표와의 연계를 추진할 계획이다. 자동 공격 생성 기능과 AI 심사원의 정확도를 높이고, 제3자 독립 레드팀 검증 서비스로 활용 범위도 넓힐 예정이다.
최호 기자 snoop@etnews.com
