와탭랩스가 AI 시대의 3대 핵심 성장 동력인 'GPU·LLM·AI 운영' 통합 전략으로 시장을 공략한다.
와탭랩스는 9일 'LLM 옵저버빌리티 미디어 데이'를 개최하고 △AI 인프라의 기반인 'GPU 모니터링' △AI 서비스의 핵심인 'LLM 옵저버빌리티' △AI 기반의 '자율 운영'을 잇는 풀스택 로드맵을 공개했다.
지난해 'AI 네이티브 옵저버빌리티' 비전을 선언하고 GPU 모니터링을 출시한 데 이어, 이번 행사를 통해 LLM 옵저버빌리티 기능을 정식 출시했다. 이와 함께 대화형 AI '와탭 AI'를 통해 자동 이상 탐지·원인 추론·조치 기능도 지속 고도화하고 있다.
와탭랩스에 따르면 AI 환경에서의 장애는 기존 IT 시스템과 달리 '단일 원인'이 아닌 전 계층의 인과 관계가 복잡하게 얽혀 발생한다. 서비스 지연만 해도 추론용 GPU 부족, LLM API 응답 지연, 검색 단계의 병목 발생, 애플리케이션 호출 오류 등 다양한 요인이 작용할 수 있어, 전 계층을 동시에 관측하는 것이 필수다.
와탭랩스의 'GPU·LLM·AI 운영' 통합 전략은 AI 시스템 전체를 하나의 흐름으로 추적하도록 지원한다. 이를 통해 기업 IT 운영팀은 그동안 내부를 알 수 없어 '블랙박스'와 같던 AI 시스템을 단일 플랫폼에서 통합 분석할 수 있다.
최진식 와탭랩스 개발 총괄은 “복잡한 AI 계층을 한눈에 바라보는 고객의 '눈'이 되기 위해 분절된 모니터링을 넘어 AI 자원, 품질, 자율 운영을 하나의 흐름으로 연결하는 기술 혁신을 추진하고 있다”며 “AI가 먼저 이상을 탐지하고 원인을 추론해 자동으로 조치하는 AI 기반 자율 운영 단계로 기술을 발전시켜 나갈 것”이라고 밝혔다.
LLM 옵저버빌리티는 LLM 기반 애플리케이션의 요청 흐름, 성능, 비용, 답변 품질을 추적 및 분석하는 기능이다. 사용자 요청이 들어온 순간부터 응답이 반환되기까지의 전 과정을 트레이스 단위로 기록해, 벡터 검색, LLM API 호출, 에이전트의 반복 실행 등 성능 병목 원인을 식별한다. 모든 LLM 호출의 입출력 토큰을 요청·기능·모델 단위로 집계해 토큰·비용 모니터링을 지원하며, AI 환각 감지 등 답변 품질 평가도 가능하다.
특히 기존 와탭 플랫폼이 제공하는 애플리케이션, 쿠버네티스, 서버, 데이터베이스, GPU 모니터링과 자연스럽게 추가되는 레이어로, LLM 레이어에서 인프라 영역까지 하나의 대시보드에서 드릴다운 방식으로 분석할 수 있다. 기존 와탭 사용 고객이라면 새로운 도구 추가 없이 LLM 관측을 시작할 수 있다.
고지훈 와탭랩스 RUM·APM 제품 개발 팀장은 “검증된 지 2~3년에 불과한 신생 AI 아키텍처를 프로덕션 환경에 올릴 때, 인프라부터 애플리케이션까지 스택 전반의 리스크를 추측만으로 관리하는 것은 불가능에 가깝다”며 “파편화된 도구 대신 인프라와 비용, 품질을 하나의 화면에서 통제할 수 있는 통합 가시성 확보만이 블랙박스 같은 AI 운영의 유일한 해법”이라고 강조했다.
와탭랩스는 와탭 플랫폼을 도입한 기업이 AI 투자에 대한 성과를 숫자로 입증할 수 있게 된다고 설명했다. 팀별 자원 사용 최적화를 통해 GPU 작업량을 2~3배 늘리고, 불필요하게 낭비되던 토큰을 제거해 LLM 운영 비용을 약 30% 절감할 수 있다. 장애 발생 시 탐지부터 조치까지의 대응 시간도 최대 70% 단축함으로써, 보이지 않는 잠재적 손실을 막고 서비스 안정성을 크게 높일 수 있다.
이동인 와탭랩스 대표는 “일반 서버는 랙 하나에 1억원 선이지만, 최신 엔비디아 블랙웰 랙은 하나에 98억원에 달한다”며 “100배가 넘는 초고가 장비와 어마어마한 전기를 쓰면서도, 퇴근 시간 이후엔 그냥 '유휴 자원'으로 놀리는 기업이 태반”이라고 지적했다. 이어 “하루에 수천만 원씩 바닥에 버려지고 있는 셈인데, 경영진은 이 비용이 어디서 어떻게 새고 있는지 전혀 모른 채 인프라 증설만 반복하는 악순환에 빠져 있다”고 덧붙였다.
그는 “AI 시장의 무게중심이 'AI 실행'에서 'AI 운영'으로 빠르게 이동하고 있다”며 “와탭랩스는 LLM 옵저버빌리티를 비롯한 AI 내재 제품군을 지속 강화해, AI 운영 파트너로서 기업이 AI를 더 잘 활용하고 운영할 수 있도록 지원해 나갈 것”이라고 말했다.
와탭랩스는 올해 하반기까지 3개 핵심 전략을 기반으로 산업별 솔루션 적용을 확대하고 AI 운영 기능을 고도화할 계획이다. 궁극적으로는 AI 운영의 표준이 되는 풀스택 플랫폼 완성이 목표다.
최호 기자 snoop@etnews.com
