맥킨지가 발표한 2024년 글로벌 인공지능(AI) 현황 보고서에 따르면, 전 세계 기업의 72%가 AI를 도입했다. 그런데 정작 현장의 분위기는 다르다. 직원들에게 챗GPT 같은 AI 도구를 쥐여줬지만, 사용하는 사람만 사용하고, 비용 대비 활용도는 기대에 못 미친다.
문제는 첫 질문부터 잘못되었기 때문이다. 대부분 기업이 AI 도입을 논할 때 던지는 첫 번째 질문은 '무엇을 AI로 대체할 수 있을까?'다. 그러나 이 질문 자체가 AI 기술을 오해하는 데서 출발한다.
AI 본질을 이해하려면 컴퓨터 기술의 역사를 짧게 돌아볼 필요가 있다. 컴퓨터는 방대한 양의 데이터를 신속하고 정확하게 처리하기 위해 발명됐다. 그보다 더 많은 데이터를 처리하기 위해 웹이 생겼고, 빅데이터가 발전했고, 클라우드를 낳았다. 컴퓨팅 기술의 발전은 언제나 '얼마나 더 많은 데이터를 어떻게 더 정확히 처리할 수 있느냐'의 싸움이었다.
AI는 그 최전선에 있는 기술이다. 따라서 기업이 AI 도입 전에 먼저 던져야 할 질문은 '우리 기업의 어떤 데이터를 AI로 처리해야 하는가?'여야 한다. 이 질문을 먼저 하지 않으면 처음부터 배보다 배꼽이 큰 투자를 하게 된다.
기업이 AI 도입으로 원하는 것은 AI 스스로가 조직의 데이터에 접근하고, 업무의 맥락을 파악해 필요한 시점에 '알아서' 처리하는 것이다. 이것은 사람이 도구를 쓰는 방식이 아니라 AI가 조직 안에서 독립적으로 작동하는 환경을 갖추는 방식으로만 가능하다. 이 환경을 갖추기 위해서는 사람에게 쥐여준 AI 대신 AI에게 AI용 도구를 주고 업무를 맡기는 사고 전환이 필요하다.
현재 한국 기업 현실을 냉정하게 들여다보면 두 가지 장벽이 선명하게 보인다. 데이터와 보안이다. 국내 기업의 데이터 상당수는 호환성이 없는 엑셀 파일과 레거시 문서에 분산돼 있다. AI가 처리할 수 있는 형태로 정제된 데이터 자체가 부족하다. 보안 환경은 더 심각하다. AI 에이전트는 조직의 하이브리드 인프라 전반을 탐색하며 데이터를 처리해야 제 역할을 할 수 있다.
이를 위해서는 제로트러스트 보안 아키텍처가 사실상 필수 조건이다. 그런데 옥타 APAC 보고서에 따르면 제로트러스트를 실제 도입 중인 한국 기업은 8%에 불과하다. 가트너 기준 글로벌 기업의 63%가 제로트러스트 전략을 채택한 것과는 대조적인 수치다.
이 격차는 단순한 기술 채택의 차이가 아니다. 구조적인 역사의 차이다. 미국 기업은 2000년대부터 클라우드 전환과 함께 클라우드 기반의 서비스형 소프트웨어(SaaS) 도입을 자연스럽게 확산해 왔다. 미국 기업의 평균 SaaS 사용 수는 110~130개에 달한다.
반면 한국 기업 평균 SaaS 사용 수는 20~50개 수준이다. 클라우드 전환이 본격화되던 시기에도 한국 기업들은 개인 스마트폰 사용을 제한하고 업무용 기기를 지급하는 온프레미스 중심 보안 환경을 고수했다.
그렇다면 기업은 어디서부터 시작해야 할까. AI 도입을 논하기 전에 먼저 우리 기업의 데이터가 어디에 어떤 형태로 존재하는지 파악해야 한다. 부서마다 따로 관리되는 엑셀 파일, 사내 메신저에 흩어진 의사결정 기록, ERP 시스템 안에 잠긴 영업 이력 등 데이터들이 AI가 접근하고 처리할 수 있는 형태로 정비되어 있지 않다면, 아무리 정교한 AI 도구를 도입해도 빈 그릇에 담는 것과 다르지 않다.
구체적인 출발점은 세 가지다. 첫 번째, 우리 기업의 핵심 데이터가 어디에 어떤 형태로 존재하는지 전사 차원에서 파악하는 것이다. AI가 접근할 수 없는 데이터는 AI 프로젝트의 출발점이 될 수 없다. 두 번째, 그 데이터에 AI가 안전하게 접근할 수 있는 보안 체계, 고로 제로트러스트 아키텍처를 단계적으로 구축하는 것이다. 한꺼번에 전환할 필요는 없다. 가장 민감하고 자주 쓰이는 데이터 영역부터 시작하면 된다. 세 번째, AI 도입의 성패 기준을 '얼마나 많은 직원이 AI를 쓰는가'가 아니라 'AI가 처리하는 기업 데이터의 비중이 늘었는가'로 바꾸는 것이다. 이 기준이 바뀌어야 투자의 방향도, 조직의 움직임도 달라진다.
AI 경쟁에서 앞서가는 기업들은 더 좋은 AI 도구를 먼저 도입한 곳이 아니다. 그 도구가 제대로 작동할 수 있는 토대를 먼저 쌓은 곳이다. 지금 당장 화려한 AI 프로젝트를 발표하는 것보다 조용히 데이터를 정비하고 보안 체계를 갖추는 기업이 1~2년 후 실질적인 AI 경쟁력을 갖추게 될 것이다. AI를 단순한 생산성 도구가 아닌 경영 전략의 핵심 인프라로 바라볼 때, 기업은 비로소 올바른 순서로 투자하고 지속 가능한 성과를 만들어낼 수 있다.
오힘찬 더퓨처 AI인터렉션팀 본부장 hcoh115@thefutureglobal.io