생성형 AI가 업무 도구로 자리 잡으면서 기업들의 채용·역량 평가 방식도 달라지고 있다. 최근 국내 한 증권사가 진행한 사내 역량 평가에서 흥미로운 데이터가 나왔다. 고득점자는 질문 한 번에 평균 200토큰만 사용하고도 12~14점을 받아 토큰당 약 0.07점의 효율을 기록한 반면, 저득점자는 최대 8,966토큰을 쓰고도 토큰당 0.014점에 그쳤다. 효율로 따지면 약 5배 차이다. AI를 '얼마나 많이' 썼는지가 아니라 '얼마나 잘' 썼는지가 성과를 갈랐다는 뜻이다.
이 결과는 하나의 증권사에 국한된 이야기가 아니다. 이커머스, 빅테크, 금융까지 업종을 가리지 않고 기업들이 채용과 역량 평가 방식을 AI 시대에 맞춰 재설계하고 있다. 각 업계는 저마다 다른 문제의식에서 출발했지만, 결국 같은 질문에 도달하고 있다 — AI 활용 역량을 어떻게 공정하고 객관적으로 검증할 것인가.
◇ 증권가: “AI를 많이 쓴 사람”이 아니라 “AI를 잘 쓴 사람” 찾기
이 증권사는 AI 활용 능력을 정량적으로 측정하고, 금융 실무에 최적화된 평가 체계를 구축할 필요성에 따라 구름의 AI 활용 역량 평가 서비스 'AISA'를 도입했다. ChatGPT, Claude 등 최신 생성형 AI 모델을 평가 환경에 통합해 실제 업무 상황에서의 AI 활용 능력을 측정하고, 6가지 항목의 평가 기준과 함께 프롬프트·응답 기록, 레이더 차트, AI 사용 패턴 분석이 담긴 리포트를 제공받았다.
분석 결과 고득점자와 저득점자의 행동 패턴은 뚜렷하게 갈렸다. 고득점자는 구조화된 접근으로 질문을 설계하고, 답변을 검증하며 피드백을 반영하는 전략적 패턴을 보였다. 반면 저득점자는 맥락 없이 반복적으로 정답을 요구하거나, 검증 없이 AI의 답변을 그대로 수용하고, 실패하면 시도를 포기하는 패턴을 보였다. 프롬프트 기록을 분석함으로써 'AI를 많이 쓴 사람'이 아닌 'AI를 잘 쓴 사람'을 객관적으로 식별할 수 있다는 것이 이번 사례가 보여준 핵심이다.
◇ 빅테크: 코드 작성을 넘어 “AI와 협업하는 역량”을 본다
국내 대표 IT 기업은 하계 인턴십 프로덕트 테크 트랙 채용에 구름의 코딩테스트 플랫폼 'Devth'와 AI 활용 역량 평가 'AISA'를 함께 도입했다. 총 535명이 온라인으로 응시했으며, 허용된 도구 외 외부 프로그램 사용을 차단하는 설치형 평가 환경 'Devth App'을 기반으로 공정한 응시 환경을 갖췄다.
이 기업이 이 평가를 도입한 배경에는 채용 기준 자체의 변화가 있다. AI 시대의 채용은 코드를 작성하는 능력을 넘어, AI와 협업해 실제 문제를 해결하는 역량을 검증하는 방향으로 이동하고 있다는 판단이다. 온라인 응시 후 자동 채점과 결과 분석을 거쳐 응시자별 결과 리포트가 채용 전형에 반영됐다. 지원자가 AI 도구를 얼마나 적절하고 효율적으로 활용해 문제를 해결하는지가 평가의 핵심 축이 된 것이다.
◇ 이커머스: 그 전에, “이게 정말 이 사람의 역량인가”
한편 국내 한 패션 전문 이커머스 기업은 정반대 지점에서 문제를 풀었다. AI 활용 역량을 평가하기 이전에, 응시자가 직접 작성한 답안인지부터 가려내야 했기 때문이다. ChatGPT, Claude 등 생성형 AI 도구가 보편화되면서 기존 웹 브라우저 기반 시험은 탭 전환, 외부 프로그램 실행, 화면 캡처를 통제하는 데 한계를 드러냈다. 이 기업은 응시자의 '순수 역량'을 검증할 수 있는 사전 차단 방식의 평가 환경이 필요하다고 판단했다.
이 기업은 2026년 상반기 개발 직군(백엔드·프론트엔드·모바일 등) 공개 채용에 구름의 설치형 안전 브라우저 'Devth App'을 적용해, 총 1,598명이 응시하는 대규모 채용을 진행했다. 시험 시작 전 대기실에서 웹캠 점검, 화면 공유, 신분증 촬영을 거쳐 본 평가에 진입하도록 했고, 평가 당일에는 응시자 PC를 평가 전용 모드로 전환해 AI 도구·메신저·웹 브라우저 등 외부 프로그램 실행을 실시간으로 감지·차단했다. 다중 모니터 연결 시에는 시험 진입이 차단되거나 일시 중단되는 통제 로직도 함께 적용됐다. 그 결과 부정행위 요소가 사전에 차단된 환경에서 대규모 평가를 차질 없이 마쳤고, 사후 검증에 들어가는 리소스를 줄이면서도 평가 시점에 결과의 신뢰도를 확보할 수 있었다.
◇ 막을 것인가, 검증할 것인가 — 결국 같은 과제
세 업계의 접근은 얼핏 달라 보인다. 이커머스 기업은 AI의 부정 사용을 '막는' 데 집중했고, IT 기업과 증권사는 AI 활용 역량을 '검증'하는 데 집중했다. 하지만 방향을 좀 더 들여다보면 두 접근은 하나의 흐름 위에 있다. AI 도구가 일상화된 이상, 그것을 무시하거나 무조건 차단하는 방식만으로는 평가의 공정성을 지킬 수 없다는 인식이다. 순수 역량을 검증하든, AI 활용 역량을 정량화하든, 결국 기업들이 원하는 것은 같다 — 지원자의 진짜 실력을 가려낼 수 있는 신뢰할 수 있는 평가 체계다.
업종을 막론하고 채용과 역량 평가의 기준이 재편되고 있는 지금, “AI를 잘 썼는가”라는 질문은 앞으로 더 많은 산업으로 확산될 가능성이 크다. 그리고 이러한 변화의 중심에서 구름은 답을 제시하고 있다. 초·중·고등학생부터 구직자, 재직자에 이르기까지 전주기 IT 교육 데이터를 기반으로 난이도를 오랫동안 모니터링해 온 구름은, 그간 축적된 기술적 노하우를 바탕으로 AI 시대에 최적화된 신뢰도 높은 검증 절차와 평가 기준을 확립해가고 있다.
이원지 기자 news21g@etnews.com
