인공지능(AI) 도입은 더 이상 실험이 아니다. 2024년 글로벌 설문에서 응답 기업의 65%가 생성형 AI를 “정기적으로 사용한다”고 답했고, 2025년 조사에서는 이 비율이 79%로 더 높아졌다는 결과가 보고됐다. 최근 몇 년 사이 '시범적 도입'이 '기본 업무'로 바뀌고 있다는 의미다. 한국도 예외는 아니다. 이재명 정부 출범 이후 AI를 성장·행정 혁신의 전면에 두려는 흐름이 강화되는 국면에서, AI 보안은 혁신을 늦추는 규제가 아니라 신뢰를 바탕으로 AI 확산을 가능하게 하는 핵심 도구로 인식돼야 한다.
그러나 현장에서는 'AI 보안'이라는 표현이 많은 문제를 덮거나 편의상 단순화되는 경우가 적지 않다. AI 보안을 이야기하면 “모델만 보호하면 된다”는 결론으로 흐르거나 학습 데이터 접근권한, 모델 파일 암호화, API 키 관리 같은 일부 항목만을 보안의 전부로 여기는 경향도 여전하다. 하지만 AI는 다양한 하위 시스템이 결합된 구조다. 이 결합체의 운영은 신뢰성을 전제로 해야 하며, 동시에 공격자의 도구로 악용될 수 있다는 점까지 함께 고려해야 한다.
◇AI 보안 접근 방식의 변화
이러한 문제의식 속에서 미국 국립표준기술연구원(NIST)은 사이버보안 프레임워크(CSF) 관점에서 AI 보안을 세 영역으로 범주화한 '사이버 AI 프로파일 초안'(NIST IR 8596)을 공개했다. NIST가 제시한 핵심 영역은 △AI 시스템 구성요소 보안 △AI 기반 사이버 방어체계 운영 △AI 기반 사이버 공격 차단이다.
우리 역시 AI 보안을 하나의 덩어리로 다룰 것이 아니라 △안전한 AI △안전을 위한 AI △AI로부터의 안전이라는 세 축으로 국가 AI CSF를 정립·배포할 필요가 있다.
첫째 축은 'AI를 안전하게 만드는 것'이다. 여기서 말하는 안전은 정보보호의 기밀성·무결성·가용성이라는 기본 원칙을 포함한다. AI 시스템은 모델 하나로 끝나지 않는다. 데이터 수집·학습과 배포, 프롬프트, 도구 호출과 에이전트의 다단계 작업, 외부 애플리케이션 프로그래밍 인터페이스(API) 연계까지 이어지는 공급망 전체가 공격면이다. 결국 이 축에서 던져야 할 질문은 “우리 조직의 AI는 어디에 있으며, 어떤 구성요소로 이뤄져 있고, 무엇이 바뀌면 위험해지는가”다. 기준선의 출발점은 AI 자산목록이다. 모델과 학습·추론 데이터, 외부 모델·API 의존성, 프롬프트 템플릿, 배포 인프라를 자산으로 식별하고 소유자와 변경 승인 체계를 명확히 해야 한다. 이어 학습 데이터의 출처와 변조 가능성, 모델 아티팩트의 무단 반출과 복제, 서비스 거부 같은 시나리오를 전제로 무엇을 기록해야 재현 가능한지 설계해야 한다. 보안은 기술을 더하는 일이 아니라, 시스템 변화에 따라 위험이 커지는 지점을 관리하는 운영 설계다.
둘째 축은 'AI로 더 잘 지키는 것'이다. 보안 운영 현장에서는 과잉 탐지와 분석 인력 부족, 대응 지연 문제가 오랫동안 반복돼 왔다. AI는 위협 인텔리전스 분류, 로그 상관 분석, 이상행위 탐지, 사고 분류에 분명한 도움을 준다. 그러나 생성형 AI는 그럴듯한 답을 내놓는 데 강한 반면, 보안 운영은 근거 있는 판단이 필수다. 근거 없이 자동으로 티켓을 닫거나 잘못된 차단 정책을 배포하면 자동화된 오판으로 이어진다. AI 기반 보안은 모델 성능이 아니라 통제 설계로 평가해야 한다. 인간 개입 승인, 권한 분리, 판단 근거 기록, 실패 시 되돌리기와 예외 절차까지가 하나의 통제 세트다. 목표는 AI를 붙여 속도를 높이는 것이 아니라, 오판이 통제되고 사고 시 책임이 남는 구조를 만드는 데 있다.
셋째 축은 'AI 기반 공격에 대비하는 것'이다. 생성형 AI는 피싱과 사회공학 공격의 개인화 비용을 낮추고 다국어·다채널 사기를 대량 생산하는 도구로 작동하고 있다. '마이크로소프트 디지털 디펜스 리포트 2024'는 공격자가 AI를 활용한 스피어피싱과 딥페이크 기법을 사용하는 흐름을 지적했다. 유럽의 수사·분석기관들도 AI 도구가 사기와 사회공학 공격을 더 확장한다고 경고한다. 방어자는 이를 완전히 새로운 위협이 아니라 기존 위협을 가속하는 요소로 봐야 한다. 대응은 결국 기본기로 돌아간다. 신원·접근관리(IAM) 강화, 중요 행위에 대한 다중 승인, 결제·송금·계약 등 업무 프로세스의 확인 절차 강화가 핵심이다. 기술적으로는 이메일·메신저·음성 채널을 가로지르는 문체·행동·시간대·접속지·기기 등 사기 신호의 상관 분석이 필요하다.
◇국가와 기업의 실행 과제
다시 3축 기준선으로 돌아가 보면, 기준선은 거창한 선언이 아니다. AI 자산목록, 공급망 정보, 평가·검증, 운영 증적처럼 감사 가능한 체크포인트를 정해 반복 가능하게 운영하는 일이다. NIST IR 8596이 프로파일 형태로 CSF에 AI 관점을 얹으려는 이유도 결국 조직이 무엇을 어디까지 했는지를 일관되게 설명할 수 있도록 하기 위해서다.
국내에서도 국가·공공기관 AI 보안 가이드북과 AI 보안 안내서가 작년 말 공개됐다. 이제는 문서 발간을 넘어, 부처·기관·산하기관이 동일한 기준으로 점검하고 개선을 누적할 수 있는 운영체계를 갖춰야 한다. 다시 말해 '가이드가 있다'에서 '가이드가 작동한다'로 넘어가야 한다.
국가가 해야 할 첫 번째 과제는 '조달과 감사'다. 공공이 AI를 구매·위탁·활용할 때 3축 기준선이 계약서의 요구사항으로 들어가야 한다. 외부 AI 서비스를 도입할 경우, 어떤 데이터가 어디로 흘러가는지, 모델과 프롬프트를 누가 변경할 수 있는지, 로그와 감사자료를 어떤 형식으로 제공받을지, 사고 발생 시 통지와 조치, 책임 범위를 어떻게 할지까지 계약 단계에서 명확히 해야 한다. 두 번째 과제는 '검증 인프라'다. 레드팀과 보안 테스트베드, 안전성·보안성 평가 항목을 표준화해 민간이 재사용할 수 있도록 해야 한다. 세 번째 과제는 '공유 기반'이다. AI 기반 공격 징후와 방어 기법을 공유하는 사이버 위협 인텔리전스(CTI) 체계와 모의훈련 시나리오, 사고 사례의 익명화된 학습 데이터가 공공재처럼 축적돼야 한다. 핵심은 일회성 투자가 아니라 반복 가능한 상시 운영이다.
기업도 동일한 체계로 움직여야 한다. AI 보안을 개발 생애주기(SDLC) 단계의 보안과 운영 단계의 보안으로 나누고 책임을 분리해야 한다. 개발 단계에서는 데이터 수집·학습·평가·배포의 변경 통제를, 운영 단계에서는 권한·로그·모니터링·사고 대응을 갖춰야 한다. 또 AI가 관여하는 업무 프로세스에서 결정과 승인 권한이 어디에 있는지를 명확히 해야 한다. 아울러 증적이 남는 구조를 갖추는 것도 중요하다. 보안은 누가 무엇을 어떻게 통제했는지를 기록하고, 그 기록이 점검과 개선으로 되돌아갈 수 있을 때 비로소 의미를 갖는다.
마지막으로 3축 기준선이 공통 코어라면, 고위험·대민 업무 영역에는 추가 요구사항을 단계적으로 적용하는 방식이 필요하다. 금융·의료·교통·에너지처럼 사고 파급력이 큰 영역에서는 인간 승인과 대체수단, 사고 보고와 재발 방지 같은 항목을 테스트와 운영 증적으로 확인하도록 설계할 수 있다.
AI는 속도가 생명이다. 그렇기에 AI 보안도 같은 속도를 가져야 한다. 3축 기준선과 증적 기반 운영체계를 통해 '점검-개선-축적'의 선순환 생태계를 구축할 때, 한국의 AI 확산은 신뢰 위에서 지속 성장할 수 있다. AI를 국가 핵심 정책으로 밀어붙이는 속도가 빨라질수록, AI 보안도 같은 속도로 따라붙어야 한다.
김창훈 대구대 컴퓨터정보공학부 사이버보안전공 교수 kimch@daegu.ac.kr
〈필자〉 인프라 보안과 제로트러스트를 중심으로 연구와 교육을 수행해왔으며, 산학연 공동기술개발사업을 통해 사이버보안 기술의 현장 적용을 이끌어왔다. 국가정보원 사이버안보센터 정보보호 실태평가 위원으로 활동하며 공공 영역의 사이버보안 정책과 실무 점검에 참여하고 있다. 또 교육부 지정 영남권 정보보호영재교육원장으로서 정보보호 인재 양성에 힘쓰고 있다.
박진형 기자 jin@etnews.com
