다양한 최신 워크로드에 적용 가능한 하드웨어 데이터 프리페처 구현

Abstract

프리페칭은 프로세서와 메모리 간의 성능 격차를 해소하기 위한 방법 중 하나로 프로세서가 메모리 블록을 요청하기 이전에 미리 캐시에 가져와 메모리 지연을 숨긴다. AMPM 프리페처는 전체 메모리 영역에 대한 접근 패턴을 추적하여 프리페치에 이용하므로 정확도는 우수하나 메모리 접근 패턴을 기록하기 위해 많은 저장 공간이 요구된다. 오프셋 프리페처는 학습을 통해 가장 우수한 오프셋을 선정하고 이를 접근 주소에 더하여 프리페치를 요청한다. 그러나 메모리 접근 패턴이 불규칙할 경우 공격적인 프리페치로 인해 극심한 성능 저하를 겪을 수 있기 때문에 프리페치를 제어하기 위한 기법을 추가로 요구한다. 본 논문에서는 기본적으로 AMPM 프리페처를 사용하고 워크로드의 메모리 접근 패턴에 따라 오프셋 프리페처를 추가로 사용하는 프리페처를 제안한다. 오프셋 프리페처의 정확도가 높은 경우 오프셋 프리페처를 이용함으로써 프리페치에 의한 성능 향상을 최대화하며, 오프셋 프리페처의 정확도가 낮은 경우 오프셋 프리페치를 차단하여 프리페처 성능 저하를 최소화한다. 또한 오프셋 프리페처의 학습 정보를 이용하여 동적으로 MSHR 임계값을 설정함으로써 프로세서의 요구 요청 처리가 프리페치에 의해 지연되지 않도록 한다.