“인공지능(AI) 신뢰성의 핵심은 AI를 무조건 믿자는 것이 아닙니다. 제대로 개발하고, 제대로 관리하고, 제대로 멈추고, 제대로 책임질 수 있는 개발·관리·감독·책임 구조를 만들자는 것입니다.”
박지환 씽크포비엘 대표는 “우리가 믿는 것은 AI라는 기계 자체가 아니라, AI를 둘러싼 개발·관리·감독·책임의 거버넌스”라며 이같이 강조했다.
씽크포비엘은 AI 신뢰성 분야에 일찌감치 뛰어든 기업이다. 솔루션 분야에서는 데이터 충실도와 편향을 진단하는 AI 신뢰성 진단·검증 도구 '리인(Re:In)'을 개발했고, 교육 사업을 통해 AI 신뢰성 전문 인력을 양성하고 있다.
박 대표는 AI 신뢰성을 AI가 법과 윤리의 요구를 따르도록 개발되고, 기술적으로 안전하게 작동하도록 관리되며, 문제가 발생했을 때 누가 개입하고 책임질 수 있는지가 구조적으로 마련되어 있는 상태로 정의했다. 특히 AI 신뢰성을 흔히 말하는 'Trust AI'가 아니라 국제사회가 논의하는 '신뢰할 수 있는(Trustworthy) AI' 관점에서 접근해야 한다고 강조했다.
박 대표는 “자동차가 사회적으로 수용되는 이유는 자동차가 절대 사고를 내지 않는다고 믿는 것이 아니라 면허, 교통신호, 보험, 사고 책임법, 정비 체계와 같은 거버넌스가 있기 때문”이라며 “AI도 마찬가지로 위험을 관리하고 설명하며 책임질 수 있는 체계를 갖춰야 한다”고 설명했다.
그는 생성형 AI 시대에 들어 위험의 성격도 한 단계 진화했다고 진단했다. 과거 AI 문제는 이미지 인식 오류나 분류 오류처럼 정답을 틀리는 문제가 많았다면, 지금은 그럴듯하지만 사회적으로 받아들이기 어려운 답을 매우 설득력 있게 제시한다는 것이다.
박 대표는 “사용자는 AI가 제시하는 답이 단순한 오류인지, 특정 가치관이 반영된 판단인지 구별하기 어려워진다”면서 “정치·역사·문화·교육·의료처럼 정답이 명확하지 않은 영역이 늘어나면서 AI가 어떤 가치와 기준에 따라 답변하는지, 사회가 이를 어떻게 점검할 것인지가 중요해지고 있다”고 설명했다.
최근 확산되는 AI 에이전트와 피지컬 AI에 대해서는 새로운 유형의 위험을 경고했다. 생성형 AI가 주로 답변을 생성하는 단계였다면 에이전트 AI는 실제 행동을 수행한다는 점에서 위험도가 높아진다는 설명이다.
박 대표는 “에이전트 AI의 위험은 AI가 말을 안 듣는 것이 아니라 제한 조건 없이 말을 너무 잘 듣는 데 있다”면서 “예를 들어 성과 극대화나 비용 절감 같은 목표만 주어졌을 경우 인간의 권리와 안전, 사회적 규범을 충분히 고려하지 않은 방식으로 목표를 달성하려 할 수 있다”고 경고했다.
그러면서 “중요한 것은 사람이 모든 행동을 승인하는 것이 아니라 AI가 자율적으로 움직일 수 있는 범위와 중단 조건, 인간에게 넘겨야 하는 상황을 사전에 설계하는 것”이라고 강조했다.
그는 향후 3~5년 내 씽크포비엘을 AI 신뢰성 교육, 데이터 충실도 진단, 운영 보증 체계를 제공하는 글로벌 기업으로 성장시킨다는 목표다.
박 대표는 “AI가 더 많이 쓰일수록 사고 가능성도 커지고 AI 신뢰성은 선택적 비용이 아니라 시장에 참여하기 위한 기본 조건이 될 가능성이 크다”면서 “AI가 사회에 들어오는 길목에서 '이 AI는 왜 허용될 수 있는가'를 설명할 수 있는 신뢰성 인프라 기업이 될 것”이라고 말했다.
정현정 기자 iam@etnews.com
