카카오뱅크가 카카오뱅크가 금융 인공지능(AI) 보안을 강화하기 위해 개발해온 보안 기술 성과를 선보였다.
카카오뱅크 기술연구소는 24일 개발자 콘퍼런스 '이프카카오25'에서 자체 AI 보안 시스템 개발 성과를 소개했다. 이번에 소개된 연구성과는 △프롬프트 공격 탐지 기술 △다중 대화(멀티턴) 공격 탐지 확장 △출력 가드레일 연구 등 세 가지다.
프롬프트 공격 탐지 기술은 해커가 AI에게 내부 정보를 캐내거나 규칙을 우회하도록 유도하는 입력 공격을 실시간으로 식별·차단한다. 카카오뱅크는 금융 환경에 특화된 데이터셋을 직접 구축해 모델을 학습시켜 단순 패턴 매칭을 넘어 실효성을 높였다. 대표적으로 AI에게 다른 사람의 계좌 비밀번호를 묻는 등 악의적인 정보 탈취를 막는다.
멀티턴 공격 탐지 기술은 한 번에 드러나지 않는 우회 시도를 대화 흐름 전체에서 추적·판단한다. AI에게 조금씩 우회하면서 내부 정보를 유출하는 시도를 막는다. 출력 가드레일 연구는 AI가 생성하는 답변을 후처리·검증하는 계층을 추가해 개인정보나 위험한 정보가 외부로 유출되는 것을 차단한다.
금융권은 AI 도입이 빠르게 확산되는 만큼 안전성과 책임성 확보가 필수 과제로 떠오르고 있다. 카카오뱅크의 이번 발표는 고객 정보 보호와 금융 규제 준수 등 금융 특유의 리스크를 고려한 실질적 대응책이라는 점에서 주목받는다.
카카오뱅크는 '이프카카오25'에서 이같은 새로운 기술적 시도를 직접 체험할 수 있는 부스도 열었다.
카카오뱅크는 향후 해당 기술들을 내부 업무 자동화와 대고객 AI 서비스에 단계적으로 적용해 안전망을 고도화해할 계획이다.
손정민 카카오뱅크 금융기술연구소 매니저는 “멀티턴 공격처럼 교묘한 시도까지 추적할 수 있도록 모델을 발전시키고 있고, 출력 단계에서도 위험이 걸러지도록 여러 겹의 안전망을 쌓아가고 있다”며 “금융 서비스는 고객의 신뢰와 직결되기 때문에 연구 과정에서 나온 AI 보안 성과들을 차근차근 서비스에 적용해 나가고 있다”고 말했다.
박두호 기자 walnut_park@etnews.com
