유명 테크 사이트인 어낸드텍에 따르면 벤치마크 성능 부풀리기는 삼성전자만의 문제가 아닌 것으로 나타났다. 어낸드텍은 대부분의 안드로이드 스마트폰이 유사한 방식으로 벤치마크 앱 실행 시 CPU/GPU 성능을 최대치로 가동시키고 있다고 주장했다.
3일(현지시각) 어낸드넥은 지난 7월 갤럭시S4의 벤치마크 성능 부풀리기를 밝혀낸 과정을 설명하고 이러한 현상이 아수스, HTC 등 타 안드로이드 단말기에도 발생한다고 설명했다. 심지어 LG 옵티머스 G2도 일부 벤치마크 앱에서 벤치마크 부스터를 실행하는 것으로 밝혀졌다.
어낸드텍은 지난 7월 엑시노스 5410, 스냅드래곤 600 탑재 갤럭시S4에서 특정 벤치마크 앱 구동 시 CPU 혹은 GPU 주파수가 자동으로 최대치로 상승하며 모든 코어가 풀가동되는 현상을 발견했다. 어낸드텍은 이 벤치마크 부스터 현상을 타 안드로이드 단말기로 확대 검사했으며 7월부터 이 데이터들을 모아 왔다고 밝혔다. 아스 테크니카는 2일 전 갤럭시노트3에서 벤치마크 부스터를 사용했다고 주장했다.
어낸드텍은 3DM(3DMark), 안투투, 앤드E벤치(AndEBench), 베이스마크, 긱벤치(Geekbench), GFX벤치, 벨라모 등 잘 알려진 벤치마크 성능 테스트 앱들을 대입해 확인했다. 어낸드텍의 조사에서 벤치마크 부스터를 사용하지 않은 제품은 모토로라와 구글 넥서스, 엔비디아뿐이다. 어낸드텍은 “우리가 구글 넥서스4를 리뷰했을 때 성능이 왜 낮게 나왔는지 설명해준다”고 전했다.
이 결과에 따르면 아수스 패드폰 인피니티, HTC 원, HTC 원 미니, LG 옵티머스 G2, 삼성 갤럭시 시리즈 등은 특정 벤치마크 앱 구동시 성능을 최대치로 끌어올리는 벤치마크 부스터를 적용한다. 가장 타깃이 된 벤치마크 앱은 안투투와 벨라모다.
아수스 패드폰 인피니티의 경우 안투투와 벨라모 2개 벤치마크 앱에서 성능 폭주 현상이 나타났으며 이는 LG 옵티머스 G2도 마찬가지였다. HTC 원과 원 미니는 3DM과 GFX벤치까지 4개 벤치마크 앱에서 성능 부스터 현상이 발견됐다.
하지만 가장 많은 벤치마크 앱 부스터를 기록한 것은 삼성전자의 갤럭시노트3이다. 갤럭시S4의 경우 안투투, 앤드벤치, 벨라모 3개 앱에 대해서만 부스터가 적용된 데 비해 갤럭시노트3은 실험 벤치마크 앱 7개 중 6개에 대해 반응하는 것으로 나타났다. 갤럭시노트 10.1(2014 에디션)도 마찬가지다.
퀄컴 스냅드래곤 600 프로세서를 장착한 삼성 갤럭시S4에서 멀티코어 프로세서와 자바 성능을 테스트하는 앤드E벤치를 실행시켰을 때 그래프를 비교해보면 차이를 잘 알 수 있다. 단말기가 앤드E벤치를 인식한 상태에서 게임을 하면 앤드E벤치 MP 테스트 그래프는 변화 없는 직선을 이룬다. 그러나 앤드E벤치의 이름을 바꾸고 실행시켜보니 성능 변화가 심하다. 이것이 자연스러운 현상인데 갤럭시S4는 벤치마크 앱에 대한 CPU 최적화로 이를 왜곡시켰다고 어낸드텍은 주장했다.
재미있는 것은 어낸드텍의 테스트 결과, 벤치마크 부스터에 의해 CPU 성능 향상은 5% 미만이다. GPU에서도 10% 이하다. 어낸드텍은 “제조사들이 이처럼 어처구니 없는 행위는 중단하고 프로세서 업체에게 성능과 전력 효율성을 높이라고 요구해야 할 것”이라고 전했다. 갤럭시S4, 갤럭시노트3는 벤치마크 부스터를 사용하지 않고도 충분히 최고 성능 단말기로 위치할 수 있었음에도 이런 구설수를 자초한 것으로 보여 아쉽다.
어낸드텍의 스마트폰 벤치마크 부스터 사용 조사는 어낸드텍 웹페이지(http://www.anandtech.com/show/7384/state-of-cheating-in-android-benchmarks)에서 매우 상세하게 다루고 있다. 아스 테크니카의 갤럭시노트3 벤치마크 부스터는 이 기사(http://arstechnica.com/gadgets/2013/10/galaxy-note-3s-benchmarking-adjustments-inflate-scores-by-up-to-20/)에서 확인할 수 있다.
전자신문인터넷 테크트렌드팀
박현선기자 hspark@etnews.com
