비균일 전문가 프루닝 적용…REAP 대비 성능 보존율 높여
AI 최적화 기술기업 노타가 중국 문샷AI의 초거대 AI(AI) 모델 ‘키미 K3’를 경량화해 구동에 필요한 그래픽처리장치(GPU) 수를 최대 절반으로 줄였다.
노타는 자체 개발한 ‘비균일 전문가 프루닝’ 기술을 키미 K3에 적용해 모델의 연산 부담과 인프라 비용을 낮췄다고 5일 밝혔다.
키미 K3는 입력값에 따라 필요한 전문가 모듈만 선택적으로 활성화하는 전문가 혼합(MoE) 구조를 채택한 프론티어급 오픈웨이트 AI 모델이다. 전체 매개변수는 약 2조8000억개에 달하며, 구동에는 엔비디아 B300 GPU 8장이 필요하다.
키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 낮춰 설계됐다. 이미 정밀도가 낮은 만큼 일반적인 양자화 방식만으로는 추가 경량화 범위가 제한적이었다는 게 회사 측 설명이다.
노타는 모델의 층별 특성과 전문가 모듈의 중요도를 분석해 핵심 전문가는 유지하고 기여도가 낮은 모듈만 선별적으로 제거했다. 모든 층에 동일한 제거 비율을 적용하는 기존 방식과 달리 층별 중요도에 따라 제거 비율을 다르게 설정해 성능 저하를 최소화했다.
회사에 따르면 전문가 모듈을 50% 줄인 모델은 전체 매개변수가 약 1조4000억개로 감소했으며, 구동에 필요한 B300 GPU 수도 8장에서 4장으로 줄었다.
노타의 자체 평가 결과, 50% 경량화 모델은 층별 전문가를 동일한 비율로 제거하는 기존 방식인 ‘REAP’보다 대다수 벤치마크에서 높은 성능 보존율을 기록했다.
고난도 과학·추론 능력을 평가하는 GPQA-Diamond에서는 REAP 방식보다 2.52점, 지시 수행 능력을 평가하는 IFEval에서는 2.22점 높은 점수를 얻었다.
노타는 앞서 업스테이지의 ‘솔라 오픈2’에도 경량화 기술을 적용한 바 있다. 이번 키미 K3 최적화를 통해 국내 AI 모델을 넘어 프론티어급 글로벌 모델로 기술 적용 범위를 넓혔다는 설명이다.
김태호 노타 최고기술책임자(CTO)는 “다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다”고 말했다.
