구글 연구팀이 AI 챗봇의 성능을 높이는 놀라운 방법을 찾아냈다. 해당 논문에 따르면, 추가 비용도 없고 답변 속도도 느려지지 않는데, 챗GPT, 클로드, 제미나이 등 주요 AI의 정확도가 크게 올라갔다. 이 간단한 방법이 AI 활용의 새로운 기준이 될 전망이다.
질문을 두 번 입력했더니 정답률이 쑥쑥
'질문 반복'은 사용자의 질문을 그대로 두 번 입력하는 방법이다. 예를 들어 "오늘 날씨 어때?"라고 물어볼 것을 "오늘 날씨 어때? 오늘 날씨 어때?"처럼 두 번 적는 것이다. 구글 연구소의 야니브 레비아탄(Yaniv Leviathan), 마탄 칼만(Matan Kalman), 요시 마티아스(Yossi Matias) 연구진은 이 방법이 AI의 성능을 크게 높인다는 사실을 발견했다.
연구진은 이런 현상이 일어나는 이유를 AI가 글을 읽는 방식으로 설명한다. 대부분의 AI는 앞에서 뒤로 순서대로 읽으며, 앞부분은 볼 수 있지만 아직 읽지 않은 뒷부분은 볼 수 없다. 그래서 "배경 설명 + 질문" 순서와 "질문 + 배경 설명" 순서가 다른 결과를 만들어낸다. 질문을 두 번 반복하면 AI가 모든 내용을 서로 참고할 수 있게 되어 이 문제가 해결된다.
흥미로운 점은 깊게 생각하는 AI 모델들이 종종 사용자의 질문 일부를 스스로 반복한다는 것이다. 질문 반복 방법은 이러한 반복을 질문을 이해하는 초기 단계로 옮겨서 효율성을 높인다.
70번 테스트해서 47번 이겼고, 한 번도 지지 않았다
연구진은 제미나이 2.0, GPT-4o, 클로드 3.7, 딥시크 V3 등 7개 주요 AI 모델을 테스트했다. 모든 실험은 2025년 2월과 3월에 각 회사의 공식 서비스를 통해 진행됐다.
실험에는 과학 문제, 수학 문제, 상식 문제 등 7가지 종류의 테스트가 사용됐다. 깊게 생각하는 기능을 끈 상태에서 질문 반복 방법은 모든 AI 모델과 모든 테스트에서 정확도를 높였다. 통계적으로 의미 있는 차이를 기준으로 봤을 때, 질문 반복은 70가지 조합 중 47가지에서 확실한 성능 향상을 보였고, 오히려 성능이 나빠진 경우는 단 한 번도 없었다.
특히 선택지를 먼저 보여주고 질문을 나중에 보여주는 경우, 질문 반복의 효과가 더 컸다. 연구진이 특별히 만든 '이름 찾기'와 '중간 맞히기' 과제에서는 모든 AI가 질문 반복으로 큰 성능 향상을 보였다. 예를 들어 제미나이 2.0 가벼운 버전은 '이름 찾기' 과제에서 정답률이 21.33%에서 97.33%로 급상승했다.
속도는 그대로, 비용도 그대로, 성능만 올라간다
질문 반복의 가장 큰 장점은 효율성이다. 연구진은 각 AI 모델과 방법별로 답변의 길이와 실제 응답 속도를 측정했다. 깊게 생각하는 기능을 끈 상태에서는 모든 AI에서 비슷한 속도가 나왔다.
질문 반복과 그 변형 방법들은 답변 길이나 응답 속도를 늘리지 않았다. 유일한 예외는 클로드 모델에서 아주 긴 질문을 처리할 때 속도가 약간 느려진 경우였는데, 이는 질문을 이해하는 단계가 더 오래 걸리기 때문으로 보인다.
이는 "단계적으로 생각해봐"라는 다른 방법과 대조된다. 이런 방법들은 성능을 크게 높이지만, 답변이 길어지면서 속도가 느려지고 비용도 늘어난다. 질문 반복은 질문을 이해하는 단계에만 영향을 주기 때문에 응답 속도에 영향을 주지 않는다.
깊게 생각하는 AI에는 보통, 빠른 AI에는 필수
AI에게 단계적으로 생각하도록 요청했을 때는 질문 반복이 보통이거나 약간 좋은 결과를 보였다. 28가지 테스트 중 5가지에서 성능이 좋아졌고, 1가지에서는 나빠졌으며, 22가지에서는 비슷했다. 이는 깊게 생각하는 과정이 종종 질문의 일부를 반복하는 것으로 시작하기 때문에 예상된 결과다.
연구진은 질문 반복 외에도 "질문 반복(자세히)"와 "질문 3번 반복" 같은 추가 방법을 테스트했다. 대부분의 경우 이들은 기본 질문 반복과 비슷한 성능을 보였고, 때로는 더 좋았다. 특히 질문 3번 반복은 '이름 찾기'와 '중간 맞히기'에서 기본 질문 반복보다 훨씬 좋은 성능을 보였다.
성능 향상이 단순히 질문이 길어져서가 아님을 증명하기 위해, 연구진은 질문 뒤에 마침표를 잔뜩 붙여서 길이만 늘리는 방법도 테스트했다. 예상대로 이 방법은 성능을 높이지 못했다.
AI 활용의 새로운 기본 방법이 될까
연구진은 질문 반복이 깊게 생각하는 기능을 사용하지 않는 많은 경우에 기본 방법이 될 수 있다고 제안한다. 이 방법은 답변의 길이나 형식을 바꾸지 않기 때문에 기존 시스템에 쉽게 적용할 수 있고, 일반 사용자도 바로 쓸 수 있다.
논문은 앞으로의 연구 방향도 여러 가지 제시한다. 반복된 질문으로 AI를 훈련시키거나, 깊게 생각하는 AI를 질문 반복으로 학습시켜 효율성을 높이는 방법을 제안한다. 또한 답변을 만드는 중간에 마지막 단어들을 주기적으로 반복하거나, 기억 저장소에서 두 번째 반복만 유지하는 방법도 탐구할 가치가 있다고 밝혔다.
긴 질문의 경우 질문의 일부만 반복하거나, 모든 것을 반복하는 대신 더 작은 AI로 질문 순서를 바꾸는 방법도 가능하다. 이미지 같은 다른 형태의 정보에 대한 적용 가능성도 흥미로운 연구 주제다.
누구나 AI를 더 잘 쓸 수 있다
질문 반복의 발견은 AI 활용을 더 쉽게 만든다는 점에서 중요하다. 복잡한 기술 없이도 누구나 질문을 두 번 입력하는 것만으로 AI 성능을 높일 수 있다는 점에서, 기술 장벽을 낮추는 효과가 있다. 특히 한국어처럼 영어가 아닌 언어에서 AI를 최대한 활용하기 어려워하는 사용자들에게 유용한 전략이 될 수 있다.
또한 이 연구는 AI가 어떻게 작동하는지 이해하는 계기가 된다. 단어 순서가 성능에 영향을 미친다는 점은 AI가 앞에서 뒤로만 읽는다는 특성을 잘 보여준다. 이러한 이해는 앞으로 더 효율적인 AI 개발로 이어질 수 있다.
기업 입장에서 질문 반복은 비용을 아끼면서 AI를 잘 쓸 수 있는 전략을 제공한다. 추가 비용 없이 성능을 높일 수 있다는 점은 AI를 많이 사용하는 기업에게 직접적인 비용 절감 효과를 가져올 수 있다. 특히 고객 상담, 데이터 분석, 콘텐츠 제작 등 반복적으로 AI를 쓰는 분야에서 바로 적용할 수 있다.
흥미로운 점은 이 방법이 깊게 생각하는 AI에서는 효과가 제한적이라는 것이다. 이는 고급 AI와 빠른 AI를 전략적으로 선택하는 데 중요한 기준이 될 수 있다. 속도와 비용이 중요한 작업에는 질문 반복을 쓴 빠른 AI를, 복잡한 생각이 필요한 작업에는 깊게 생각하는 AI를 사용하는 방식이 최적일 수 있다.
마지막으로 이 연구는 AI 발전이 반드시 더 크고 복잡한 모델을 만드는 것만이 아님을 보여준다. 간단한 방법의 변화만으로도 의미 있는 성능 향상을 이룰 수 있다는 점은, 앞으로 AI 연구가 더욱 다양한 방향으로 진행될 수 있음을 보여준다.
FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q1. 질문 반복을 어떻게 사용하나요?
A. ChatGPT, 클로드, 제미나이 등 AI 챗봇에 질문할 때 같은 질문을 두 번 연속으로 입력하면 됩니다. 예를 들어 "파이썬 배우는 방법 알려줘"를 두 번 복사해서 붙여넣으면 됩니다. 추가 비용이나 속도 저하 없이 더 정확한 답을 받을 수 있습니다.
Q2. 모든 AI에서 질문 반복이 효과가 있나요?
A. 구글 연구진의 실험 결과 제미나이, GPT, 클로드, 딥시크 등 주요 AI 모두에서 효과가 있었습니다. 다만 깊게 생각하는 기능을 쓸 때는 효과가 적으므로, 일반적인 질문이나 빠른 답변이 필요할 때 더 유용합니다.
Q3. 질문 반복이 비용이나 속도에 영향을 주나요?
A. 아니요, 답변의 길이나 응답 속도는 변하지 않습니다. 질문을 이해하는 단계에서만 작업이 늘어나는데, 이 부분은 동시에 처리되어 전체 응답 시간에 거의 영향을 주지 않습니다. 따라서 추가 비용 없이 성능만 높일 수 있습니다.
기사에 인용된 논문 원문은 arXiv에서 확인할 수 있다.
논문명: Prompt Repetition Improves Non-Reasoning LLMs
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. (☞ 기사 원문 바로가기)
AI 리포터 (Aireporter@etnews.com)
