클라우드플레어는 최근 웹사이트의 검색 노출은 유지하면서 인공지능(AI) 학습을 위한 콘텐츠 수집만 차단할 수 있는 기능을 도입했다고 18일 밝혔다.
클라우드플레어는 웹사이트로 들어오는 인터넷 트래픽을 중계하면서 보안과 속도 향상 서비스를 제공하는 인터넷 인프라 기업이다. 검색엔진과 AI 업체의 크롤러가 웹사이트에 접근하는 과정도 관리할 수 있어, 웹사이트 운영자가 검색용 수집은 허용하고 AI 학습용 수집은 막도록 선택할 수 있게 한 것이다.
그동안 일부 검색·AI 업체는 하나의 크롤러로 검색 색인과 AI 학습용 데이터를 함께 수집했다. 웹사이트 운영자가 AI 학습을 원하지 않아 크롤러를 차단하면 검색 결과 노출까지 포기해야 하는 경우가 있었다.
클라우드플레어에 따르면 검색과 AI 학습을 함께 수행하는 '혼합 사용 크롤러(mixed-use crawler)'는 자사 네트워크에서 검증된 크롤러 트래픽의 36.6%를 차지한다. 검색 크롤러를 차단하는 웹사이트는 1% 미만인 반면 AI 학습을 제한하는 비율은 17%다.
새로 도입한 'AI 학습 거부(Disallow AI Training)' 기능은 이런 문제를 해결하기 위한 것이다. 웹사이트 운영자는 검색, AI 학습, AI 에이전트의 접근 여부를 각각 설정할 수 있다.
클라우드플레어는 웹사이트 운영자의 AI 학습 거부 의사를 따르는 크롤러 운영자도 별도로 구분한다. 애플, 구글, 마이크로소프트는 관련 기준을 충족했거나 이행 일정을 제시해 '책임 있는(Accountable)' 운영자로 지정됐다.
클라우드플레어는 내년 초까지 AI 검색 요약에 콘텐츠가 사용되는 범위도 한곳에서 관리할 수 있도록 기능을 확대할 계획이다.
박진형 기자 jin@etnews.com
