AI 인프라 소프트웨어 대표 기업 오케스트로 그룹은 테크 컨퍼런스 'OPUS 2026'에서 AI 인프라에 대한 고객의 관심이 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있음을 확인했다고 7일 밝혔다.
지난달 28일 서울 코엑스 오디토리움에서 열린 'OPUS 2026'에는 공공기관, 금융사, 제조·통신 대기업, IT 서비스 기업 등의 IT 관계자 2,000명 이상이 참석했다. 행사에서는 기업과 공공기관의 AI 인프라 구축·운영 과제를 중심으로 상담과 기술 논의가 이어졌다. GPU 자원 배분과 응답 지연 개선, 복잡한 추론 환경의 효과적인 운영 방안에 대한 문의가 집중됐으며, 기존 자원을 활용해 추론 성능과 운영 안정성을 높이려는 수요가 공통적으로 나타났다.
오케스트로는 이 같은 현장 수요를 종합한 결과, AI 인프라 경쟁력을 판단하는 기준이 GPU 확보 자체에서 실제 운영 성과로 옮겨가고 있다고 분석했다. 특히 응답 속도와 처리 성능을 높이는 동시에 운영 비용과 복잡성을 관리할 수 있는지가 핵심 기준으로 떠오르고 있다는 설명이다.
이러한 흐름은 'OPUS 2026' 이후 기업·공공기관 IT 종사자 1703명을 대상으로 진행한 조사에서도 확인됐다. 조사 결과, AI 인프라 또는 추론 환경을 운영할 때 가장 큰 부담으로 GPU 서버 비용(36.9%)과 AI 인프라 전문 인력 부족(36.5%)이 꼽혔다.
AI 인프라 구축·운영 경험이 부족하다는 응답도 22.2%를 차지했다. AI 추론 플랫폼을 선택할 때는 추론 성능과 응답 속도(20.2%), GPU 활용률과 비용 효율(19.2%), 기존 인프라 및 클라우드 환경과의 연계성(16.7%)을 중요하게 고려하는 것으로 나타났다.
이 같은 결과는 AI 인프라 경쟁의 무게중심이 하드웨어 확보에서 소프트웨어 기반의 운영 효율화로 이동하고 있음을 보여준다. 기업과 공공기관은 보유 자원의 활용 효율과 추론 성능을 높이고 비용과 운영 안정성을 함께 관리하는 것을 주요 과제로 인식하고 있다.
오케스트로는 AI 추론 운영 플랫폼 '콘체르토 AI'를 앞세워 이러한 수요에 대응하고 있다. 콘체르토 AI는 분산 서빙 기반의 추론 최적화와 실시간 자원 배분을 통해 응답 지연을 줄이고, 보유한 GPU 자원의 활용 효율을 높인다. 오케스트로는 'OPUS 2026'에서 확인한 현장 수요와 조사 결과를 바탕으로 기업과 공공기관의 AI 인프라 운영 과제에 대응해 나갈 계획이다.
김민준 오케스트로 그룹 의장은 “OPUS 2026은 금융·제조·IT 등 다양한 산업의 기업과 공공기관이 AI 인프라를 운영하며 겪는 과제와 시장의 변화를 직접 확인한 자리였다”며 “고객과 현장의 목소리를 바탕으로 한정된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높일 수 있는 해법을 지속적으로 제시해 나가겠다”고 말했다.
최호 기자 snoop@etnews.com
