산업계에서는 최근 2∼3년간 데이터 기반 디지털라이제이션, 빅데이터 플랫폼 구축·분석, 비즈니스 혁신이라는 목적으로 수많은 프로젝트가 시행됐다. 최근에는 인공지능(AI)으로 향하는 프로젝트가 증가한다. 관련 프로젝트의 성공 사례도 많지만 여전히 단기 성과 중심으로 진행돼 프로젝트 결과물의 연속성이 확보되지 못하는 소위 가성비 떨어지는 프로젝트가 수없이 발견된다. 원인을 분석하면 답은 의외로 간단하다. 데이터를 실질적으로 활용할 수 있는 온전한 기반과 노력이 부족해서다.
누구나 고품질 데이터를 신속하고 편리하게 찾을 수 있는 자동화 프로세스를 기반으로 한다면 AI로 향하는 최적의 데이터옵스(DataOps) 전략을 가져갈 수 있다.
가트너에 따르면 데이터옵스는 조직 전체 데이터 관리자와 데이터 소비자 간 데이터 공급 협업, 오케스트레이션·자동화 개선에 중점을 둔 데이터 협업 관리를 의미한다. 데이터 관리자는 지금껏 정보기술(IT) 관리와 함께 데이터 관리를 책임지는 부서였다. 데이터 소비자는 세일즈와 마케팅처럼 데이터 분석·활용에 적극적인 현업부서에 가깝다. 부서 간 효과적인 데이터 요청과 공유 방법·프로세스 기반 마련을 데이터옵스라 할 수 있다.
기업은 데이터의 효과적 활용을 위해 단편적 빅데이터 플랫폼 구축이 아닌 AI 요구사항을 반영한 데이터옵스 전략을 도입해야 한다.
빠르게 변화하는 고객 경험과 복잡한 시장 환경에서 기업이 성장을 추진하고 경쟁 우위를 유지하기 위해서는 신속하고 통찰력 있는 분석이 요구된다. 그러나 수많은 기업은 이기종 분산 데이터 환경, 데이터 사일로(Silo) 현상, 데이터 품질에 대한 의구심, 데이터 요청에 대한 일상적인 지연과 반복된 오류 데이터 전송 등으로 느리고 제한적 결과만을 보일 수 있는 것이 냉혹한 현실이다.
원인은 데이터 관리, 즉 공급 관점에서 봤을 때 데이터 관리체계 부재로 지속적 품질 이슈가 존재하고 품질이 보장되지 않은 데이터를 활용하기 위해 수많은 데이터 정제에 대한 부담과 비용이 요구된다는 것이다. 결국 고품질 데이터를 누구나 쉽고 빠르게 찾을 수 있다면 이것은 데이터옵스 핵심 기반이 된다. 다각도의 데이터 품질 기반을 확보할 수 있는 데이터 거버넌스만이 고품질의 데이터를 확보할 수 있는 유일한 해결책이다. 확보된 고품질 데이터를 활용하도록 데이터 포털을 구축해 데이터 검색 기반을 마련하는 것은 데이터옵스 전략에 중요한 요소이다.
사용자가 검색하고 활용할 데이터가 가져야 할 가장 중요한 요소는 데이터 품질이다. 단순한 값의 오류 수정이 아니라 데이터 품질이 지속 유지되기 위한 전반적인 데이터 관리를 의미한다. 데이터 관리를 위한 데이터 거버넌스는 데이터 표준, 모델, 구조, 흐름 등 전반적인 데이터 관리 프로세스가 유기적으로 연계돼야 한다.
데이터 카탈로그와 데이터 포털 등이 대표 사례다. 사용자 관점에서는 정확한 데이터 소유자를 식별해서 데이터를 요청하는 프로세스가 명확하기를 원하고, 빠른 데이터 수집을 요구한다. 데이터 카탈로그는 데이터 활용을 지원하지만 이러한 현실에 맞는 데이터 검색과 요청 프로세스를 지원하지는 못한다. 반면에 데이터 포털은 데이터 카탈로그 솔루션을 포함해 컴플라이언스와 데이터 오너십을 고려한 데이터 검색 및 요청 프로세스 체제를 지원함으로써 데이터옵스의 중요한 축으로 활용될 수 있다.
기업 전체 데이터 관리자와 데이터 소비자 간 데이터 흐름 협업, 오케스트레이션 및 자동화 개선에 중점을 둔 데이터 협업 관리를 위한 최선의 목표는 데이터옵스 구현이다. 이제는 고객의 단순한 데이터 관리 요구를 넘어 기업의 적극적인 비즈니스 혁신을 위해 데이터 검색·활용을 지원하는 시스템을 구축해야 한다. IT 부서는 물론 기업의 시간과 비용을 절감하고 효율적으로 데이터옵스 전략을 수립하기 위해 전문 플랫폼을 활용하는 것은 효과적이고 실질적인 방법이 될 수 있다.
김범 엔코아 전략사업본부 전무 bkim@en-core.com
