[올쇼TV] “토큰맥싱의 역설: 데이터 주권과 토큰맥싱 해결을 위한 최적 솔루션 CONCERTO A.I” 7월 23일 생방송

오케스트로는 오는 7월 23일(목) 오후 2시부터 전자신문 웨비나 전문 방송 올쇼TV에서 '토큰맥싱의 역설: 데이터 주권과 토큰맥싱 해결을 위한 최적 솔루션 CONCERTO A.I'를 주제로 'OKESTRO WebTech Day 2026' 웨비나를 개최한다.

OKESTRO WebTech Day 2026은 매월 1회 진행되는 기술 웨비나 시리즈로, 인프라와 재해복구(DR), 클라우드 네이티브, 소버린 AI 데이터센터 전략 등 기업의 AI 전환을 위한 핵심 기술과 실전 사례를 소개하고 있다.

최근 대규모언어모델(LLM)의 성능이 빠르게 발전하면서 AI 서비스 경쟁은 모델 자체를 넘어 실제 서비스를 뒷받침하는 인퍼런스(Inference) 인프라 경쟁으로 확대되고 있다. 특히 폭증하는 토큰 처리량과 GPU 자원 비효율, 응답 지연, 데이터 주권 확보 등은 기업이 AI 서비스를 운영하는 과정에서 해결해야 할 핵심 과제로 떠오르고 있다.

이번 웨비나에서는 이러한 문제를 해결하기 위한 차세대 AI 추론 플랫폼 'CONCERTO A.I'를 중심으로 분산 추론과 KV 캐시 최적화 기술을 활용해 GPU 활용률을 극대화하는 방안을 소개한다. 또한 소버린 AI와 프라이빗 AI 환경에서 안정적이고 효율적인 AI 서비스를 구현하기 위한 엔터프라이즈급 LLMOps 및 인퍼런스 인프라 전략도 함께 살펴볼 예정이다.

첫 번째 세션에서는 AI 모델 발전 과정과 함께 AI 모델 경쟁을 넘어 비용과 신뢰성, 운영 효율을 좌우하는 AI 인프라의 중요성을 소개한다.

이어 두 번째 세션에서는 폭증하는 LLM 트래픽 환경에서 기존 인프라가 직면하는 추론 병목 현상과 GPU 활용률 저하, 응답 지연 등 구조적인 한계를 분석한다.

마지막 세션에서는 CONCERTO A.I 기반 분산 추론과 KV 캐시 최적화 기술을 통해 이러한 제약을 극복하는 방법을 설명하고, 소버린 AI 및 프라이빗 AI 환경을 위한 엔터프라이즈급 LLMOps·Inference 인프라 구축 전략을 제시한다.

이번 웨비나는 AI 서비스 인프라를 구축하거나 운영 효율을 높이고자 하는 기업의 IT 담당자와 AI 플랫폼 엔지니어, 클라우드 아키텍트, 데이터센터 운영 담당자, AI 도입을 추진하는 공공·금융·제조 분야 실무자들에게 유용한 인사이트를 제공할 것으로 기대된다.

자세한 정보 및 등록 신청은 올쇼TV 홈페이지(https://www.allshowtv.com/detail.html?idx=1743)에서 확인할 수 있다.

임민지 기자 minzi56@etnews.com