[Analysis] 빅플레이어로 재편된 DW 어플라이언스, 비정형 분석 앞으로

📁관련 통계자료 다운로드고객관계관리(CRM)에서 비정형 데이터 분석 플랫폼의 예

IBM의 네티자 인수를 계기로 DW 어플라이언스 시장이 4강 체제로 굳어지는 것으로 보였다. 테라데이타, 오라클, IBM(네티자), EMC(그린플럼)은 비정형 콘텐츠 분석 기능을 강화하고 있으며 인터넷 포털, 게임서비스 등 새로운 산업군으로 진입하고 있다. 하지만 최근 마이크로소프트(MS)가 HP와 협력해 대용량 고성능 DW 어플라이언스인 PDW를 발표하고 시장 재편을 공언했다.

◇DW 어플라이언스 4강체제 흔든다=최근의 DW 시장 움직임에 대해 한국테라데이타는 “일찌감치 어플라이언스 제품을 내놓은 테라데이타의 선견지명이 확인된 것”이라는 입장이다. 실시간기업(RTE)은 최적의 의사결정을 가장 빠른 시간 내 내릴 수 있어야 구현되는 것이며, 의사결정의 속도는 데이터 분석 속도에 크게 영향받는다. 테라데이타는 일찌감치 대용량 데이터의 실시간 분석 요구를 만족시키기 위해서는 하드웨어와 최적화된 어플라이언스가 해답임을 주장해왔기 때문이다.

테라데이타 혼자 고군분투했던 이 시장에 지난해 가을부터 오라클이 서서히 발을 담그고 그린플럼, 네티자 등 DW 어플라이언스 전문 업체들을 EMC, IBM이 각각 인수하면서 DW 어플라이언스 시장은 급속히 재편되고 있다.

EMC는 인텔리전스 데이터 관리라는 목표 아래 그린플럼을 인수하고 인수 3개월만에 통합 제품을 발표했다. IBM 또한 네티자를 인수한 후 IBM 스마트어낼리틱스시스템(ISAS)에 네티자 등 DW 선택의 폭을 넓히고 지난달 라스베이거스에서 열린 IOD(Information on Demand) 2010에서 ‘빅인사이트’ 제품을 소개했다.

여기에 MS-HP의 PDW가 드디어 국내 소개된다. 두 회사는 지난 봄부터 MS와 HP의 공동 개발 산물로 패스트트랙에 이은 고성능 DW 어플라이언스가 가을경 출시될 것이라고 말해 왔다. 지난 18일(현지시각) MS와 HP 본사는 ‘SQL서버 2008 R2 PDW’를 공식 발표했다. PDW(Parallel Data Warehousearehouse)라는 제품명에서 알 수 있듯이 이 제품은 초대형병렬처리(MPP) 방식으로 대용량 데이터의 고성능 분석을 지원한다.

송규철 한국MS 비즈니스&마케팅본부 상무는 “패스트트랙이나 PDW는 DW 어플라이언스로서는 MS의 초기 제품이지만 이것이 마치 MS가 DW 시장에 신규 진입하는 것처럼 오해되어서는 곤란하다”고 강조했다. MS는 오랜 시간에 걸쳐 기업용 DBMS와 DW, 비즈니스 인텔리전스(BI) 제품을 소프트웨어로 제공해 왔기 때문이다.

또 실시간 의사결정을 위한 솔루션 포트폴리오 측면에서는 어떤 경쟁사와 비교해도 뒤지지 않는다는 자신감을 비췄다. 송규철 한국MS 상무는 “고성능 MPP 제품의 출시 시점만 놓고 보면 늦은 감이 있지만 IBM, EMC 등이 전문 업체를 인수하는 과정에 있기 때문에 오히려 지금이 출시 적기”라며 시장 경쟁을 자신했다.

◇비정형 콘텐츠 분석에 DW도 합세=새로운 플레이어의 등장과 함께 DW 어플라이언스 제품도 변화를 맞고 있다. △분석 데이터의 용량 및 워크로드에 따른 제품 다변화 △비정형 콘텐츠 분석 기능 등 두 가지가 큰 특징이다. 이 중에서도 특히 비정형 콘텐츠 분석은 소셜네트워크서비스(SNS)의 부상으로 앞다퉈 채택되고 있다.

한국테라데이타는 IDC 전망을 인용해 2010년에 수집된 디지털 정보량이 1.2제타바이트에 달한다고 전제한 뒤 데이터 소셜라이징(The Socialization of Data)이 요구되고 있다고 주장했다. 데이터 소셜라이징이란 기업 비즈니스, 글로벌 시장, 커뮤니티 또는 일상 생활에서 현 상태에 대한 종합적인 분석력을 제공하기 위해 정형 데이터 소스와 비정형 데이터 소스를 통합하는 것을 말한다.

소셜미디어 통찰력을 모든 업무에 적용하고 기업의 분석 능력을 소셜미디어 사용자인 고객과의 소통에 적용하는 것이 목표다. 데이터 소셜라이징에 의해 기업은 고객 접점 및 비즈니스 연계성까지 분석할 수 있다.

하지만 비정형 데이터, 즉 SNS에서 생성된 텍스트 데이터와 웹 콘텐츠 등을 분석하는 것은 DBMS 데이터를 분석하는 것보다 훨씬 많은 시간을 요구한다. 낱개의 파일로 존재하는 비정형 데이터에서 패턴을 분석해내야 하기 때문이다.

이 때문에 MPP라는 하드웨어 아키텍처 이상의 분석 기능이 요구된다. 이로인해 테라데이타, EMC(그린플럼), IBM 등 많은 DW 어플라이언스 업체들이 하둡(Hadoop) 기술에 눈독을 들이도록 하고 있다. 하둡은 오픈소스 기반 대용량 데이터 분석에 필요한 병렬 처리 프레임워크다.

테라데이타는 하둡 기반의 데이터 관리 소프트웨어 및 구축 서비스를 제공하는 클라우데라와 협력한다. 테라데이타는 클라우데라의 CDH(하둡용 클라우데라 디스트리뷰션)를 위한 ‘테라데이타 하둡 커넥터’를 개발해 제공하고, 테라데이터 고객들은 CDH를 통해 다양한 온라인 소스에서 추출한 비정형 데이터를 테라데이타 DW로 이관해 보다 면밀하게 분석할 수 있다.

IBM은 하둡 기술에서 더 나아가 ‘인포스피어 빅인사이트’를 발표했다. 지금까지 없던 새로운 개념의 데이터 분석 솔루션이라는 게 한국IBM의 주장이다. 분석 기능 그 자체를 제공하는 것은 아니다. 하지만 사용자(기업)가 던진 질문(쿼리)에 가장 총체적인 분석 결과를 제공할 수 있도록 정형 데이터와 비정형 데이터를 연동해 분석할 수 있도록 해주는 미들웨어 혹은 프레임워크의 개념이다.

EMC 역시 그린플럼 데이터컴퓨팅어플라이언스를 발표하면서 인터넷상의 비정형 콘텐츠 분석 기능을 강화했다. 김희배 한국EMC 이사는 “인터넷에 상시 접속된 네트워크, 웹, 소비자 콘텐츠, 감시 시스템, 센서 등 다양한 출처에서 만들어진 막대한 양의 정보를 더욱 효율적으로 인지하고 활용할 수 있도록 해준다”고 설명했다.

◇인터넷 포털, 게임 등 신규 고객 늘어나=비정형 콘텐츠 분석 기능과 맞물려 DW 어플라이언스에 대한 새로운 고객군이 등장했다. 바로 인터넷 포털, 게임 회사 등이다. 기존의 로그 분석 외에는 인터넷 사용 패턴을 분석하기 어려웠고 로그 데이터 분석으로는 실시간 마케팅을 구현할 수 없었다.

민성재 한국IBM 소프트웨어그룹 인포스피어팀장은 “게임서비스에서 사용자의 활동 데이터는 초당 몇천건이 발생하는데 이를 DB화해서 분석하는 것은 실시간성을 포기하는 것”이라고 말했다.

또 이전에는 로그 기록을 분석해 이메일 등으로 프로모션 캠페인을 했지만 이제는 사용자가 로그인하는 즉시 사용자의 패턴을 분석해 자주 이용하는 서비스, 서비스 빈도 등에 따라 적절한 경품이나 할인 이벤트를 제공할 수 있는 실시간 개인화된 맞춤형 프로모션이 요구되고 있다.

사용자 수가 많고 비정형 데이터 분석 중심인 인터넷 서비스 기업에서는 금융권보다 더 빠른 분석 속도와 대용량을 요구한다. 실제로 마케팅분석팀에서 DW 어플라이언스를 사용하고 있는 SK커뮤니케이션즈는 1일 18억건 이상의 트래픽이 발생하는데 웬만한 금융권, 유통기업과는 차원이 다른 분석 성능이 필요하다고 전한다.

게다가 정형 데이터와 비정형 데이터의 연계 분석도 필요하다. 민성재 팀장은 “콘텐츠 서비스를 강화하고 있는 대형 통신사와 게임서비스 기업에서 IBM 인포스피어 빅인사이트에 대해 벌써 관심을 보이고 있다”고 소개했다. 한국EMC도 다음커뮤니케이션에 DW 어플라이언스 공급을 앞두고 있다.

한국오라클은 엑사데이타 2.0을 도입한 SK텔레콤의 무선과금 부문이 대표적인 사이트라고 소개했다. 최근 스마트폰 열풍과 함께 엄청난 양의 데이터를 쏟아내고 있는 무선인터넷 데이터 및 콘텐츠 사용은 수많은 정보를 담고 있으며 이러한 데이터를 기반으로 향후 설비투자에 대한 예측 분석과 과금의 정확성을 다시한번 검증하고 분석하는 역할을 담당한다는 것이다.

송규철 한국MS 상무는 “인터넷 포털, 유통 등이 DW 어플라이언스의 신 고객으로 등장하고 있지만 확보한 데이터를 가치 있는 정보로 분석 가공해내려는 요구는 기업 규모와 업종에 상관없이 존재하며 더욱 커져가고 있다”고 설명했다.

박현선기자 hspark@etnews.co.kr