효성인포메이션시스템은 히타치 밴타라(Hitachi Vantara) 빅데이터 통합 및 분석 플랫폼 솔루션 '펜타호(Pentaho)'를 국내에 공급한다. 펜타호는 제조, 헬스케어, 금융, 반도체, 모빌리티, 에너지, 화학, 철도 등 산업 분야와 스마트 팩토리, 규제위반 탐지 등 혁신적 분석 활용사례를 구현한다.
펜타호는 비정형 및 정형 데이터 수집부터 변환, 적재, 분석, 머신러닝 모델관리, 시각화와 리포팅을 단일한 워크플로우로 구현한 업계 유일 원스톱 빅데이터 처리 및 분석 플랫폼이다. 펜타호는 100% GUI 기반 직관적이고 편리한 인터페이스와 드래그앤드롭 방식으로 모든 빅데이터 분석 과정을 손쉽게 자동화한다.
하둡(Hadoop), RDBMS, EDW 등 시중의 거의 모든 정형, 비정형 데이터 통합을 지원한다. 병렬 처리, 서버 클러스터링, 맵리듀스(MapReduce) 기반 분산 처리, AEL(Adaptive Execution Layer) 기능을 통한 스파크(Spark) 등 하둡 에코시스템 처리 엔진 활용해 빅데이터 처리 성능을 제공한다.
시중 빅데이터 분석 솔루션과 달리 △데이터 수집 및 검증 △데이터 블렌딩 및 머신러닝 운영 △비즈니스 분석 및 시각화(머신러닝 모델 구축, 시각화, 분석 및 리포트)에 이르는 엔드-투-엔드 데이터 파이프라인 구축과 자동화가 가능하다.
분석 단계에서는 코딩 또는 스크립팅 없이 R, 파이썬, 스파크 MLlib, 웨카(Weka)와 같은 머신러닝 알고리즘 라이브러리를 정제된 데이터에 적용해 머신러닝, 딥러닝 모델을 쉽게 개발할 수 있다. 머신러닝 모델 구현 전체 프로세스에서 약 80%를 차지하는 데이터 준비 시간을 대폭 절감한다.
머신러닝 모델 구축 이후에도 △모델 지속적인 모니터링 △모델 정확도 평가, 재교육·새로운 알고리즘 전환 결정 △챔피언-도전자 모델 평가 결과 비교 △최신 데이터 기반 모델 재구축 또는 배포로 구성된 머신러닝 업데이트 4단계를 예정된 일정에 따른 자동화 프로세스로 운영한다. 데이터 특성 변화에 맞춰 머신러닝 모델을 실시간으로 업데이트한다.
마지막 리포트 단계에서는 모바일 환경을 지원하는 인터랙티브 웹 인터페이스를 통해 지리적 맵, 히트 그리드, 버블 차트 등 시각화 라이브러리를 활용한다. 다양한 분석을 수행하고 인사이트를 공유하고 업데이트한다. 데이터 시각화, 인터랙티브 리포팅, 애드혹 분석, 맞춤형 대시보드가 애플리케이션에 임베딩됐다.
펜타호는 △데이터 통합(추출, 변환 및 적재), 머신러닝 기반 고급 분석을 제공하는 PDI(Pentaho Data Integation) △분석, 예측, 리포팅, 시각화를 지원하는 PBA(Pentaho Business Analytics)로 구성된다.
최근 업데이트된 펜타호 8.2에서는 히타치 기존 오브젝트 스토리지 플랫폼 HCP(Hitachi Content Platform)와 다른 제품 포트폴리오와의 통합을 강화했다. 소매, 공공안전 등 산업 분야 비정형 데이터 분석 기능을 강화했다. HCP 기반 데이터 레이크 구축, 데이터 준비, 정제, 표준화뿐 아니라 클라우드 타깃에 적합한 준비된 데이터 전송으로 하이브리드 클라우드 환경에서 데이터 관리를 최적화하고 비용을 절감한다. 클라우드 환경으로의 스트리밍 데이터 읽기·퍼블리시 지원, 구글 클라우드 환경 보안 강화, 머신러닝, 딥러닝 모델 운영 등을 향상시킨 에코시스템을 지원한다. 기업 분석 수행 시 IT 자산 가용성, 보안성, 효율성을 높인다.
이영호기자 youngtiger@etnews.com
