한국딥러닝은 IBK기업은행 금융소비자지원부와 금융권 최초 시각행동모델(VLM) 기반 보이스피싱 피해구제 업무 자동화를 구현해 서류 처리시간을 88% 줄였다고 30일 밝혔다.
기존 보이스피싱 피해구제 업무는 팩스로 접수된 서류를 직원이 직접 확인하고 입력하는 수작업 방식으로 골든타임 내 신속한 대응에 어려움이 있었다.
양사는 이를 해결하기 위해 한국딥러닝의 VLM 기반 금융 특화 AI 에이전트 '딥 에이전트 for 금융'을 적용했다. 서류 인식·분류와 정보 추출뿐 아니라 문서 내용을 이해해 범죄 유형까지 추론하도록 구현해 기존 문서 인식을 넘어 피해구제 업무의 정보 처리와 판단 지원까지 자동화 범위를 넓혔다.
실증 결과 서류 처리시간은 88% 단축됐다. 인쇄체 100%, 필기체 97% 이상의 인식 정확도를 기록했으며, 문서 분류와 범죄 유형 추론에서도 평가 기준 100% 정확도를 보였다. 특히 기존 인식에 어려움을 겪던 저화질 신분증과 필기체가 포함된 피해구제신청서, 주요 텍스트 정보 추출에서도 정확도가 개선됐다. 실제 업무 데이터 기반 평가에서 KPI 전 항목을 초과 달성했다.
한국딥러닝은 VLM 엔진 고도화, 문서 처리 파이프라인과 검수 대시보드 구축, 성능 검증 및 은행 내부망 적용 등 핵심 기술을 수행했다. AI OCR과 VLM 결과를 교차검증하고 신뢰도 점수에 따라 자동 처리와 담당자 검수로 분기하는 구조를 구현했다. 은행 폐쇄망 환경에서도 운영할 수 있도록 온프레미스 방식을 적용하고, 최종 판단은 담당자가 수행하도록 설계해 금융권의 보안·검수 요건을 고려했다.
김지현 한국딥러닝 대표는 “이번 실증은 VLM 기반 AI 에이전트가 그 시간을 획기적으로 줄일 수 있음을 보여줬다”면서 “앞으로 금융기관의 반복 업무를 자동화해 운영비용을 낮추는 것은 물론, 금융소비자 보호에 더 많은 시간과 인력을 투입할 수 있는 환경을 만들겠다”고 말했다.
한국딥러닝은 문서 인식과 이해 기술을 기반으로 기업의 AI 전환(AX)을 지원하는 문서 데이터 인프라 기업이다. 자체 개발한 문서 특화 VLM과 AI 에이전트를 통해 복잡한 비정형 문서에서 정보를 추출하고 업무에 활용할 수 있도록 지원한다.
정현정 기자 iam@etnews.com
