기업 내 인공지능(AI) 도입 경쟁력이 실제 조직의 일하는 방식을 바꾸는 핵심축으로 어떻게 정착시킬지가 중요한 것으로 나타났다.
어떤 거대언어모델(LLM)을 선택하는지에서 나아가 도메인별 특화 데이터를 학습한 최적화된 AI를 도입, 생산성을 극대화할 수 있는 방향 설정이 기업 경쟁력을 가른다는 것이다.
18일 서울 삼성동 베스핀 페르나스 호텔에서 전자신문이 개최한 'CAIO 서밋 2026'에서는 인프라·데이터·플랫폼·고객경험·업무협업 등 각기 다른 영역을 주도하는 5개 기업이 산업 내 AI 도입 패러다임이 어떻게 변화하고 있는지 현황을 공유했다.
기업 AI 경쟁력은 어떤 거대언어모델(LLM)을 선택하느냐에 머무는 것이 아니라, 그 모델을 실제 조직의 일하는 방식을 바꾸는 핵심 축으로 어떻게 정착시키느냐에 달려 있다는 점을 강조했다.
HS효성인포메이션시스템(HIS)은 '길을 잃지 않는 AI 혁신' 방안을 주제로 한 발표에서 AI 인프라 핵심 전략을 제시했다.
김형섭 HIS DX아키텍트팀 PM은 그래픽처리장치(GPU) 클러스터 설계와 검색증강생성(RAG) 파이프라인 구축 경험을 토대로 다수 인프라 프로젝트에서 반복적으로 드러나는 가장 큰 문제점인 '과잉 투자'를 해소해야 AI 도입 실익을 극대화할 수 있음을 강조했다.
김 PM은 “AI 인프라 비용 효율 핵심은 얼마나 크게 도입하느냐가 아니라 얼마나 정확하게 도입하느냐에 있다”며 GPU 확보 경쟁에만 치중하느라 고품질 데이터 준비와 내부 운영·가동 체계 구축을 소홀히 하는 기업의 현실을 지적했다.
베스핀글로벌은 에이전트를 채용부터 분기별 평가·퇴출까지 인사 관리하듯 다루는 'AWM' 체계를 소개했다. AI가 단순 기술 대상을 넘어 기업의 조직 관리 대상이자 디지털 인력으로 편입되고 있다는 것이다.
한선호 베스핀글로벌 최고AI책임자(CAIO)는 “에이전트 도입 개수가 아니라 살아남은 개수가 진정한 성과 기준”이라며 “AI 프로젝트가 난항을 겪는 원인은 모델 성능의 한계가 아니라 사람과 손익, 역량 간의 정렬에 있다”고 진단했다. 베스핀글로벌이 구축한 에이전트 751개 중 511개만 지속 가동되고 있다. 한 CAIO는 에이전트 관리에서 AI 성패가 갈리는 만큼 이에 대한 전략과 투자가 중요함을 강조했다.
크라우드웍스는 AI 모델의 성능이 상향 평준화되는 국면에서 데이터 인프라가 기업 간 실질적인 격차를 가르는 결정적 요인으로 남는다고 분석했다. 자사 통합 AI 솔루션 '알피(Alpy)'의 고도화된 문서 전처리 파이프라인과 함께 벡터 검색과 지식그래프를 결합한 하이브리드 검색 구조를 소개했다.
이준호 크라우드웍스 부사장은 “AI가 내놓은 답변이 사내 문서의 정확히 어느 페이지에서 기인했는지 역추적할 수 있어야만 기업이 AI를 신뢰하고 현업에 전면 도입할 수 있다”고 말했다.
이성훈 제네시스 상무는 고객 응대·서비스 현장 현실을 전달했다. 그는 “고객은 단순한 좋은 답변에 만족하는 게 아니라 내 문제가 한 번에 해결된 결과 그 자체를 평가한다”며 대화 수준에 머무는 챗봇과 실제 비즈니스 프로세스를 완결하는 에이전트 차이를 설명했다.
또 위험도와 AI 판단 확신도에 따라 자율 실행범위를 차등화하는 프레임워크를 제시, 에이전트의 자율성 확대는 철저한 신뢰 검증이 선행된 이후에 단계적으로 이뤄져야 한다는 원칙을 역설했다.
전일권 가온아이 지식관리연구소장은 사내 업무 인프라에 AI를 적용하는 현실적인 전략을 제시했다. 에이전틱 AI를 기업 업무에 실제 적용하려면 최신 LLM 도입보다 데이터 정비와 오케스트레이션, 권한·비용 관리 체계를 먼저 갖춰야 한다고 강조했다.
전 소장은 “처음부터 하나의 에이전트에 회사의 모든 일을 넣는 것이 아니라 각 부서별 업무에 따라 에이전트를 만들 수 있다”며 “얼마나 많이 도입했는지가 중요한 게 아니고, 기존 시스템과 얼마나 잘 녹여내 실제 사용자들이 잘 쓰고 있는가가 중요하다”고 말했다.
최호 기자 snoop@etnews.com
