고려대학교는 양경식·유혁 정보대학 컴퓨터학과 교수 연구팀이 GPU(그래픽처리장치)의 '헛된 선점' 현상을 규명하고, 이를 해결하는 작업 배치 기술 'Lazer'를 개발했다고 25일 밝혔다.
이번 연구 성과는 지난달 26~29일 미국 롱비치에서 개최된 컴퓨팅 시스템 및 반도체 설계 분야 국제 학술대회 'DAC(Design Automation Conference) 2026'에 채택됐다. 특히 올해 제출된 논문 2400여 편 중 단 13편(0.5%)만 선정된 최우수논문상 후보(Best Paper Candidate)에 올랐다.
인공지능(AI) 모델 하나를 학습시키는 데는 수백~수천 대의 GPU가 몇 주 이상 투입된다. 대당 수천만 원에 달하는 GPU를 대규모로 갖추기는 어렵기 때문에, 기업과 연구기관은 한정된 GPU를 모아 클러스터를 구축하고, 여러 학습 작업이 이를 나눠 사용하도록 한다. 이때 GPU 클러스터의 핵심 소프트웨어인 '스케줄러'가 여러 학습 작업의 실행 순서를 결정한다.
기존에는 우선순위가 높은 작업이 새로 들어오면, 실행 중인 작업을 멈추고 GPU를 넘겨주는 '선점' 방식이 널리 활용됐다. 연구팀은 대규모 GPU 클러스터의 6개월 치 운영 기록을 여러 스케줄링 방식으로 재현해 실제 효율성을 확인했다.
분석 결과, 새로운 작업이 GPU에서 본격적인 실행을 시작하기도 전에 더 높은 우선순위의 작업에 밀려나는 일이 반복됐고, 그때마다 실행 준비에 투입된 시간이 그대로 낭비됐다. 연구팀은 이 현상에 '헛된 선점(futile preemption)'이라는 이름을 붙이고 그 원인과 발생 규모를 처음으로 규명했다.
연구팀의 Lazer는 새 작업이 도착하는 간격, 각 작업의 남은 실행 시간, 작업을 GPU에 배치한다. 실행을 준비하는 데 걸리는 시간 등을 종합해 실행 중인 작업 교체와 선점 유예 중 어느 쪽이 더 효율적인지를 판단한다. 실제 GPU 서버에서 검증한 결과, 헛된 선점을 제거했으며 학습 작업 제출 및 완료까지 걸린 시간은 기존 대비 평균 3.8배, 최대 8.8배 단축됐다.
양경식 교수는 “선점이 학습 속도를 높인다는 통념과 달리, 오히려 GPU 낭비와 학습 지연을 초래할 수 있음을 확인했다”며 “원인을 구체적으로 규명하고, 시스템 소프트웨어(SW)를 개선하는 것만으로도 AI 인프라의 효율을 크게 높일 수 있음을 보인 연구”라고 설명했다.
조호현 기자 hohyun@etnews.com