“기업 시스템에 인공지능(AI)을 접목할 때부터 '가드레일' 적용을 함께 고려해야 합니다. 도입단계에서 투명성과 신뢰성에 대한 고민이 선행돼야 안전한 AI 활용 환경을 구축할 수 있습니다.”
김주원 콕스웨이브 대표는 최근 전자신문과 인터뷰에서 “국내 기업들은 AI 채택 이후 몇 차례 내부 사고나 의사결정 과정에 애로사항을 겪은 뒤에야 리스크 해소 차원에서 안전장치를 찾는 측면이 있다”며 이같이 밝혔다.
안전성을 후순위로 미루면 더 큰 위험과 비용을 초래할 수 있다는 게 김 대표 지적이다. AI 에이전트 활용 확산과 피지컬 AI 적용이 본격화되는 상황을 고려, 가드레일 등 안전장치를 AI 도입 초기부터 고민해야 한다는 의미다.
AI 안전 가드레일은 거대언어모델(LLM) 등 AI 입·출력을 실시간 감시하고 사전에 정의한 윤리·보안 규칙에 위배되는 내용을 차단·수정하는 안전장치다. 주제 이탈, 환각 현상, 유해·민감정보 유출 등을 방지하며 서비스 신뢰성을 높인다.
최근 AI 전용 커뮤니티 '몰트북'에서 나타났듯 에이전트 간 교류와 외부 API 호출, 멀티 에이전트 개념이 구현되는 과정에서 AI 안전 문제는 더 크게 불거질 수 있다.
김 대표는 “순간 판단에 기반해 연속으로 작동하는 피지컬 AI는 문제가 발생하면 걷잡을 수 없고, 스마트 팩토리는 공정이 잠깐 멈추거나 오류가 발생하면 피해액이 엄청날 수밖에 없다”며 “콕스웨이브는 AI 에이전트 오작동 문제를 줄이는 데 집중할 계획”이라고 설명했다.
특히 '에이전트옵스(Ops)' 등장에 주목했다. 머신러닝 모델을 안정적이고 효율적으로 배포·유지하는 'MLOps'처럼 AI 에이전트 모니터링과 관리·운영·통제 등을 한 번에 지원하며, AI 안전성을 담보할 수 있도록 에이전트Ops 형태로 자사 AI 데이터 분석 플랫폼 '얼라인'을 고도화할 계획이다.
김 대표는 “얼라인에 단순 품질보증(QA)을 넘어 QA 기반 동작에서 문제 발생 시 즉각 가드레일을 가동할 수 있는 기능을 탑재할 것”이라며 “기존 AI 안전·신뢰 평가 중심 사업 구조에서 AI 에이전트를 안전하게 사용할 수 있는 환경을 지원하는 방향으로 사업을 확대하겠다”고 말했다.
이어 “기업에서도 AI 안전 패러다임을 사이버 침해 등 외부 공격을 대비한 보안 중심에서 AI 에이전트 등 시스템 자체가 잘못 동작했을 때 적기에 대응할 수 있는 방향으로 확장해야 한다”고 제안했다.
콕스웨이브는 AI안전연구소, 한국정보통신기술협회(TTA) 등 AI 안전·신뢰를 담당하는 공공부문과 긴밀히 소통하고 대내외 파트너십을 가져갈 계획이다.
박종진 기자 truth@etnews.com
