지난 3년 동안 인공지능(AI) 산업에서는 오픈소스 및 폐쇄형 모델이 빠르게 발전하며, 실질적인 성과를 중시하는 에이전트 중심의 아키텍처로 진화해왔다. 이런 진화의 흐름 속에서도 기업 고유의 데이터와 맥락(Context)을 생성형 AI와 결합해야 한다는 핵심 원칙은 변하지 않았다. 이러한 발전이 거듭될수록 기업들은 보안이 가장 큰 과제임을 점점 더 인식하게 됐고, '프라이빗 AI'는 선택이 아닌 필수가 됐다.
프라이빗 AI는 클라우드든 온프레미스든 데이터의 위치와 관계 없이 기업 고유의 데이터를 활용해 AI 모델, 애플리케이션, 에이전트를 구축하고 운영한다. 학습 데이터, 구성 정보, 파인튜닝을 통해 만들어진 결과 모델이 모두 보안 경계 안쪽에 머무르기 때문에 모델 개발의 전 과정을 완전히 통제할 수 있고, 모델에 전달되는 프롬프트, 컨텍스트, 모델의 응답 등이 모두 기업 외부로 유출되지 않는다. 즉, 프라이빗 AI는 AI 기술의 혁신을 가속하면서도 민감한 데이터의 외부 노출을 차단할 수 있다.
프라이빗 AI를 성공적으로 구축하려면 세 가지 핵심 요소가 필요하다. 먼저 오픈소스를 활용하는 것이다. 오픈소스 AI의 성장은 거스를 수 없는 흐름이며, 프라이빗 AI의 기반이라고 볼 수 있다. 블룸(BLOOM)과 팔콘(Falcon) 등 충분한 규모와 성능을 가진 모델을 시작으로, 라마(Llama)와 같은 첨단 모델이 등장하면서, 기업은 자사 요구에 맞게 AI를 맞춤형으로 활용할 수 있게 됐다. 국내에서도 최근 네이버, SK텔레콤, KT 등이 오픈소스 AI 모델을 공개하고 있다. 오픈소스 모델은 앞으로 더 작고 빨라지며, 세분화된 특화 모델이 나타날 것이다.
많은 고객들은 문서 요약부터 고급 추론 기반의 의사결정 자동화, 코드 최적화 등 핵심적인 과제에 고급 추론 기능을 활용하면서 워크플로를 진화시키고 있다. 따라서 텍스트, 데이터, 이미지 등 다양한 입력을 처리할 수 있는 멀티모달에 대한 필요성도 커지고 있다. 이는 오픈소스 여정의 모든 과정을 지원함으로써 사용자가 혁신을 기회로 전환시키고, AI 투자의 효과를 극대화하면서 실험하고 확장하며 미래를 대비할 수 있게 한다.
두 번째는 데이터와 AI의 원활한 통합이다. AI의 잠재력은 결국 데이터에 달려 있다. 데이터와 AI가 분리돼 있으면 데이터 접근성이 떨어지고, 분석 속도가 느려지며, 의사결정에 필요한 실시간 컨텍스트가 부족해진다. 또, 이질적인 시스템 간의 데이터 이동은 보안과 컴플라이언스 리스크도 높인다.
이를 해결하기 위해서는 데이터와 AI를 하나의 통합된 생태계로 엮는 플랫폼이 필요하다. 이는 메타데이터, 보안 정책, 연산 자원을 공유할 수 있기 때문에 불필요한 데이터 복제와 이동이 줄어들고, 모든 예측 결과는 그 출처까지 추적할 수 있어 투명성과 신뢰성을 확보할 수 있다. 또, 데이터와 AI 생애주기를 연결함으로써, 모델은 최신 정보를 반영하면서도 강력한 접근 통제와 감사를 만족시킬 수 있다.
마지막으로, 프라이빗 AI는 하이브리드 클라우드에서도 실현할 수 있는 점을 주목해야 한다. AI 도입 초기에는 기업들이 일반 콘텐츠 작성, 대중 트렌드 분석, 일상 업무 자동화 등 민감하지 않은 데이터에만 AI를 활용했다. 기업의 독점 데이터가 외부 환경에 공개되는 것은 치명적인 리스크이며, 지금까지도 그런 우려를 갖고 있다. 그 결과, 금융 기관은 거래 로그를 안전하게 분석할 수 없었고, 의료 업체는 환자 기록에 대한 인사이트를 얻지 못했으며, 제조업체는 독점 센서 데이터를 활용한 운영 최적화를 주저했다.
하이브리드 클라우드 환경을 아우르는 플랫폼은 기업 자체의 데이터센터와 퍼블릭 클라우드 모두에서 동일한 AI 워크로드 운영을 제공하면서도, 데이터를 효과적으로 통제함으로써 유출 문제를 해결할 수 있다. 이를 통해 기업은 중요한 비즈니스 영역에 AI를 적극 적용할 수 있으며, 어떤 환경에서든지 가상 기업 방화벽 안에 있는 것처럼 데이터를 보호할 수 있기에 암호화, 접근 정책, 컴플라이언스 기준도 철저히 준수할 수 있다.
최승철 클라우데라코리아 지사장 scchoi@cloudera.com