자동화된 판단에 이의를 제기할 권리 -- 인공지능 시대 시민권의 재정의 필요
자영업자가 업장을 차려도 대박집이 아닌 이상 결국 건물주만 돈을 벌듯, 이번 AI 타임라인도 비슷하게 흘러갈 가능성이 크다.
하이퍼스케일 데이터센터에는 우선 대형 사업자가 들어간다. 상권의 가장 좋은 자리를 선점하는 신세계나 롯데백화점, 스타필드 같은 존재들이다. 그 밖의 공간에는 데이터센터의 규모와 용도에 따라 자영업자에 해당하는 수많은 AI 서비스 기업이 입점한다. 이들은 데이터센터에 월세를 내고, 파운데이션 모델을 호출할 때마다 API 사용료까지 지급해야 한다.
문제는 소비가 줄어드는 세상에서 사람들이 과연 수많은 AI 서비스에 따로 돈을 지급하겠느냐는 것이다. 더구나 기업 단위로 조직된 서비스가 AI를 활용해 사실상 하나의 조직처럼 움직이는 개인과 경쟁해 우위를 유지할 수 있을지도 불분명하다. 한 개인의 생산성이 과거의 작은 조직 수준으로 올라가면 기존 서비스 기업이 팔던 가치의 상당 부분은 개인에게 내재화된다.
결국 범용 영역에서는 AI 빅테크가 제공하는 파운데이션 모델과 추론형 에이전트가 대부분을 가져간다. 사용자는 여러 서비스를 오가기보다 하나의 범용 에이전트 안에서 검색하고, 만들고, 비교하고, 구매하고, 실행하려 할 것이다. 그렇게 되면 독립 AI 서비스는 하나의 제품이라기보다 에이전트가 필요할 때 호출하는 기능이나 도구로 내려앉는다.
다양한 모델이 실제로 선택받을 수 있을까. 오픈웨이트 모델이 개인 서버에서도 충분한 비즈니스 성능을 제공하는 날이 올까. 제한된 업무라면 가능하겠지만, 성능이 개인적 편의를 넘어 다수의 트래픽을 처리해야 하는 수준으로 번지는 순간 문제는 다시 전력과 칩, 데이터센터로 돌아간다. 지능이 소프트웨어처럼 보여도 대규모로 공급되는 지능의 최종 원가는 여전히 물리적 인프라다.
그렇다고 막대한 돈을 쏟아부은 AI 빅테크가 앱스토어 같은 생태계를 순순히 열어줄지도 의문이다. 매출 압박을 받는 이들이 가장 좋은 몫을 외부 사업자에게 넘길 이유는 없다. 생태계를 열더라도 독립 사업자의 성장을 위한 개방이라기보다 자사 모델의 사용량을 늘리고 고객 접점을 장악하기 위한 제한적 개방에 가까울 것이다.
정말 범용성이 큰 킬러 기능이라면 자기들이 한다. 외부에 남겨두는 것은 직접 운영하기에는 귀찮고, 책임은 크며, 시장은 잘게 쪼개져 있지만 모델 사용량은 꾸준히 발생하는 영역일 가능성이 높다. 생태계는 열리겠지만, 그 안에서 누가 고객을 만나고 얼마를 벌며 어떤 기능까지 허용받는지는 건물주가 결정한다.
그러면 독립 기업에 남는 것은 무엇일까.
우선 전력·칩·데이터센터 같은 인프라가 남는다. 그 위에는 최첨단 성능을 지속해 공급할 수 있는 소수의 모델 사업자가 남는다. 마지막으로 쉽게 복제할 수 없는 데이터와 고객 접점, 실제 업무를 실행할 권한을 가진 기업이 남는다. 그 사이에서 범용 모델 위에 얇은 기능 하나를 얹은 독립 서비스는 데이터센터와 모델 사업자라는 두 명의 건물주에게 이중으로 임대료를 바치는 디지털 골목상권의 자영업자가 된다.
데이터 해자가 확고한 기업조차 굳이 자체적인 '뾰족한 지능'을 만들 필요는 없을 수 있다. 모델은 빠르게 범용화되고 개발 비용은 계속 커지기 때문이다. 차라리 자신이 가진 데이터와 유통망, 업무 흐름을 바탕으로 여러 AI 빅테크와 거래하며 더 나은 조건을 받아내는 편이 합리적이다.
결국 이들의 경쟁력은 모델을 직접 소유하는 데서 나오기보다 어떤 모델이든 자신의 고객 관계와 업무 흐름 안으로 끌어들일 수 있는 협상력에서 나온다. 인공지능 시대의 핵심 해자는 지능 그 자체가 아닐 가능성이 높다. 범용 지능은 소수의 빅테크가 공급하고, 나머지 기업에는 고객 관계와 데이터 사용권, 업무 수행권, 결과에 대한 책임이 남는다.
승부는 누가 가장 똑똑한 모델을 가졌느냐가 아니라 누가 최종 고객과 그 고객의 행동이 일어나는 자리를 소유하느냐에서 갈린다.
그런데 이 변화는 골목상권의 재편에서 끝나지 않는다.
인공지능이 누구의 생산성을 높이고, 누구의 판단을 대신하며, 누구에게 더 많은 실행 권한을 부여하느냐에 따라 기업의 흥망뿐 아니라 지정학적 질서와 국가 패권까지 갈릴 수 있다. 인공지능을 제공한다는 것은 단순히 기술이나 서비스를 판매하는 일이 아니다. 무엇을 알 수 있는지, 어떤 선택지가 먼저 제시되는지, 누구의 명령이 실행되고 누구의 요청이 거부되는지를 결정하는 일이다.
인공지능의 제공은 곧 권력의 제공이며, 동시에 권력의 배분이다.
이 권력은 양쪽으로 커진다. 한쪽에서는 모델과 연산 자원을 소유한 기업의 권력이 커진다. 이들은 수많은 사람의 질문과 의도를 실시간으로 받아들이고, 지식에 접근하는 경로와 행동의 인터페이스를 통제한다. 다른 한쪽에서는 인공지능을 사용하는 개인의 권력도 커진다. 한 사람이 과거에는 조직이 있어야만 할 수 있었던 조사와 개발, 설계와 협상, 생산과 유통을 혼자 수행하게 되면 개인은 더 이상 조직의 최소 단위가 아니라 조직 그 자체에 가까워진다.
그러나 개인이 거대한 생산성을 얻더라도 그 생산성의 원천이 빅테크의 모델과 인프라에 종속되어 있다면, 개인은 강해진 만큼 의존하게 된다. 과거보다 더 많은 일을 혼자 할 수 있지만 그 능력의 가격과 범위, 지속 여부는 자신이 결정하지 못한다. 계정이 정지되거나 모델의 정책이 바뀌고 가격이 오르면 개인에게 새로 생긴 조직도 함께 흔들린다.
그러니 이것을 단순한 권력 집중이라고만 부르기도 어렵고, 권력의 민주화라고 부르기도 어렵다. 공급자는 지능에 접근하는 조건을 정하고, 사용자는 그 지능으로 자기 영향력을 증폭한다. 모두의 힘이 세지는 것처럼 보이지만 실제로는 누가 더 좋은 모델과 더 많은 연산, 더 넓은 실행 권한을 가질 수 있는지에 따라 격차가 벌어진다.
이것은 권력의 평등한 분배가 아니라 권력 증폭 장치의 차등 배분에 가깝다.
기존 국가는 영토와 법, 과세와 면허, 교육과 복지를 통해 시민의 자격과 행동 범위를 규정해왔다. 그러나 인공지능은 국경을 넘어 제공되고, 법이 만들어지는 속도보다 빠르게 갱신되며, 한 국가의 제도가 온전히 닿지 않는 연산망 위에서 작동한다. 국가는 기업을 규제할 수는 있어도 사용자의 머릿속에 들어간 능력을 회수할 수는 없다. 특정 모델의 접속을 막을 수는 있어도 그 모델이 압축해놓은 지식과 생산방식의 확산까지 붙잡아두기는 어렵다.
정보와 소프트웨어를 직접 붙잡기 어려워진 국가는 결국 지능이 작동하는 물리적 혈관을 붙잡으려 할 것이다. 전력망과 데이터센터, 반도체 공급망은 더 이상 산업시설에 머물지 않고 국가 안보의 영역으로 편입된다. 국가는 허가와 보조금, 수출통제와 투자심사를 통해 인프라에 대한 개입을 강화할 것이다.
그렇다고 국가가 과거처럼 권력을 독점할 수 있는 것은 아니다. 국가가 법적 시민권을 부여한다면 플랫폼은 연산 접근권을 부여하고, 모델은 실질적인 행동 가능성의 범위를 정한다. 사람은 어느 국가의 시민인지뿐 아니라 어느 지능망에 접속할 수 있는지, 어느 수준의 모델을 사용할 수 있는지, 얼마만큼의 연산과 실행 권한을 배분받는지에 따라 서로 다른 현실을 살게 된다.
여기서 시민의 지위도 다시 정의될 수밖에 없다.
산업사회의 시민권이 법 앞의 평등과 선거권, 노동권과 교육권을 중심으로 만들어졌다면, 인공지능 시대의 시민권은 지능에 접근할 권리와 자신의 데이터를 통제할 권리, 자동화된 판단에 이의를 제기하고 인간에게 다시 판단 받을 권리까지 요구받게 될 것이다. 인공지능을 사용할 권리뿐 아니라 사용하지 않을 권리, 판단을 위임할 권리뿐 아니라 그 위임을 철회할 권리도 시민의 지위를 가르는 문제가 된다.
그렇지 않으면 시민 사이의 격차는 단순한 소득 차이를 넘어선다. 같은 한 시간을 살아도 누군가는 수백 개의 에이전트를 움직여 조사하고 생산하고 거래하는 반면, 누군가는 자기 노동력만으로 경쟁해야 한다. 전자는 한 명의 시민이면서 동시에 하나의 기업이 되고, 후자는 법적으로는 동등한 시민이지만 실질적으로는 파편화된 개인으로 남는다.
봉건사회가 신분에 따른 상하 관계를 만들고 산업사회가 자본과 노동이라는 좌우의 대립을 낳았다면, 인공지능 시대에는 새로운 축이 생긴다. 지능을 소유하고 명령하는 자, 지능을 빌려 자기 능력을 증폭하는 자, 그리고 지능이 내린 판단의 대상이 되는 자 사이의 구분이다.
이 지위는 과거의 신분처럼 완전히 고정되어 있지는 않을 것이다. 한 사람도 어느 순간에는 지능을 부리는 주체였다가, 다른 순간에는 플랫폼으로부터 지능을 빌리는 임차인이 되고, 다시 채용과 대출 앞에서는 지능이 처리하는 객체가 된다. 법적으로는 같은 시민이어도 어떤 상황에서 지능을 명령하고 어떤 상황에서 지능의 판단을 받아야 하는지에 따라 실질적인 지위가 달라진다.
누군가는 인공지능에 목적을 부여하고 수많은 비인간 행위자를 움직인다. 누군가는 인공지능과 함께 판단한다. 누군가는 인공지능이 산출한 점수와 순위, 추천과 거절에 따라 기회를 배분받는다. 앞의 사람은 시스템에 명령하는 주체가 되고, 뒤의 사람은 시스템이 처리하는 객체가 된다.
그 순간 사람과 사람 아닌 것 사이의 선후 관계도 흔들린다. 법적으로는 인간이 우선한다고 선언할 수 있지만, 실제 사회에서는 더 빠르고 더 많은 자본을 움직이는 비인간 행위자의 판단이 먼저 반영될 수 있다. 채용과 대출, 보험과 의료, 투자와 행정에서 인간의 사정은 나중에 해명되고 인공지능의 판단은 먼저 집행된다. 인간이 기계를 사용하는 것이 아니라, 기계가 정한 처리 순서 안에서 인간이 자신의 자격을 증명해야 하는 사회가 열리는 것이다.
그래서 인공지능 시대의 핵심 정치 문제는 기계를 인간처럼 대우할 것인지에 앞서, 인간이 기계보다 뒤로 밀리지 않을 권리를 어떻게 보장할 것인지에 있다. 동시에 인공지능이 만들어낸 생산성을 누구의 것으로 인정할지도 정해야 한다. 모델 기업과 자본 소유자의 몫인지, 데이터를 만들어낸 사회 전체의 몫인지, 그것을 활용해 가치를 생산한 개인의 몫인지에 따라 전혀 다른 세상이 만들어진다.
그 생산성의 과실이 소수의 인프라 소유자에게 집중되면 인공지능은 새로운 봉건제를 만든다. 모델과 연산 자원을 가진 자가 영주가 되고, 기업과 개인은 그들의 지능을 빌려 쓰는 소작인이 된다. 반대로 그 생산성이 시민의 시간과 자율성, 창업과 창작의 기회로 넓게 분배되면 인공지능은 개인을 기존 조직의 종속에서 해방할 수도 있다.
같은 기술이 한쪽에서는 지능의 지대를 걷는 체제가 되고, 다른 쪽에서는 누구나 자신의 조직을 가질 수 있는 기반이 된다.
결국 우리가 결정해야 하는 것은 인공지능을 얼마나 빠르게 개발할 것인가만이 아니다. 인공지능이 만들어낸 생산성으로 어떤 시민을 만들 것인지, 어떤 권리를 새로 발명할 것인지, 인간과 기업과 국가와 비인간 지능 사이의 권력을 어떻게 배치할 것인지를 결정해야 한다.
봉건사회의 질문이 “너는 누구에게 복종하는가?”였고, 산업사회의 질문이 “누가 생산수단을 소유하는가?”였다면, 인공지능 시대의 질문은 “누가 지능을 명령할 수 있으며, 누가 그 지능의 판단을 거부할 수 있는가?”가 될 것이다.
전자는 타인의 시간과 능력을 움직일 권리이고, 후자는 자신이 시스템의 객체로 전락하지 않을 권리다. 누군가는 인공지능을 통해 조직이 되고, 누군가는 인공지능이 관리하는 대상이 된다. 법적으로는 같은 인간이어도 지능을 부릴 수 있는 사람과 지능 앞에서 자신을 증명해야 하는 사람의 지위는 같지 않다.
그 차이가 다음 시대의 계급을 만들고 시민권의 경계를 다시 그을 것이다. 그리고 끝내는 인간과 인간 아닌 것 가운데 누구의 판단이 먼저 집행되고, 누구의 사정이 나중으로 밀리는지까지 결정할 것이다.
김현철 한국인공지능협회 회장 isness@koraia.org