과학 워크플로우의 데이터 이동과 실험 환경 변화를 고려한 데이터 재배치

Abstract

과학 워크플로우 응용은 데이터 센터에 대량의 데이터가 분산되어 있고, 이를 이용하며 응용을 실행하기 때문에 저장되는 데이터 위치에 따라 실행 결과가 달라질 수 있다. 또한 실행 도중 생산된 중간데이터의 위치도 전송에 영향을 미치기 때문에 이를 최소화하기 위한 데이터의 위치가 중요하다. 따라서 데이터 집약적인 워크플로우 응용을 위해 동적으로 변하는 자원의 상태를 고려한 데이터 재배치를 제안한다. 작업 실행 도중 동적으로 변하는 자원의 상태를 고려하여 프로파일링을 통한 데이터 집약적인 단계에서의 재배치를 통해 데이터 센터 간 데이터의 이동 시간과 이동하는 데이터 크기가 줄어 전체 실험 성능의 향상을 보였다.