SWNQ: 스케일링된 가중치 정규화 기반 사후학습 양자화 기법

Abstract

사후 학습 양자화는 학습 과정이 요구되지 않아 학습데이터 의존성이 없다는 장점이 있지만 저정밀도에서 성능저하가 크게 발생한다는 단점이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 기존의 양자화에 사용되는 가중치 정규화 기법에 스케일링 계수를 도입하여 긴 꼬리를 가진 가중치 분포로부터 발생하는 양자화 오류를 줄이는 스케일링된 가중치 정규화 기반 사후학습 양자화 기법 SWNQ를 제안한다. 실험 결과는 SWNQ가 추가적인 학습이나 미세 조정 없이 기존 가중치 정규화 기반 양자화에 비해 양자화 성능을 향상시키면서 즉각적인 양자화가 가능함을 입증한다. 또한 SWNQ는 4비트 기반의 혼합 정밀도 양자화에서 완전정밀도 모델과 단 1.2%의 성능차이로 양자화가 가능한 것을 보여줌으로써 사후학습 양자화의 성능저하 문제를 효과적으로 해결할 수 있음을 입증한다.