KT가 국산 인공지능(AI) 반도체와 자체 대규모언어모델(LLM)을 결합한 기업용 AI 어플라이언스를 출시했다. 내부망에서 데이터와 AI 연산을 처리해 보안 규제가 높은 공공·금융·국방 등 산업의 AI 전환 수요를 공략할 방침이다.
KT는 리벨리온의 신경망처리장치(NPU) 'ATOM-MAX'와 자체 개발 LLM '믿음 K 2.5 프로', 운영 API 플랫폼을 하나의 서버에 탑재한 'KT NPU LLM 스테이션'을 출시했다고 19일 밝혔다.
ATOM-MAX는 AI 추론에 특화된 국산 NPU다. 믿음 K 2.5 Pro는 고난도 추론과 AI 에이전트 활용을 지원하는 KT의 자체 LLM이다. 반도체부터 AI 모델, 운영 플랫폼까지 국내 기술을 적용한 것이 특징이다.
제품은 고객사 내부에 설치하는 온프레미스 방식으로 운영된다. 데이터와 AI 연산을 외부 클라우드로 전송하지 않고 내부에서 처리한다. KT는 망분리와 보안 규제로 외부 생성형 AI 활용에 제약이 있는 공공·국방·금융·제약·제조 분야를 주요 수요처로 보고 있다.
서버와 AI 모델, 플랫폼을 일체형으로 구성해 별도의 인프라 구축 없이 설치 후 사내 문서를 활용한 검색증강생성(RAG) 등 AI 기능을 사용할 수 있다. 표준 API를 지원해 기존 AI 서비스와의 연동도 가능하다.
KT는 향후 회의록 작성과 코딩 지원, 업무 자동화 에이전트 'K-Claw(가칭)' 등을 순차적으로 추가할 계획이다. 에이전트 개발사와 협력해 기업별 맞춤형 구축 사업으로도 확대한다.
장기적으로는 KT NPU LLM 스테이션을 피지컬 AI용 엣지 데이터센터에도 적용해 저전력·저지연 AI 인프라로 활용할 방침이다.
KT AX사업본부장 이진형 상무는 “데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 가장 현실적인 선택지가 될 것”이라고 말했다.
남궁경 기자 nkk@etnews.com
