Abstract
At present, big companies such as Amazon, Google, Facebook, Microsoft, Yahoo! own huge datacenters with thousands of nodes. These clusters are used simultaneously by many users. The users submit jobs containing one or more tasks. Task flow is usually a mix of short, long, interactive, batch, and tasks with different priorities. Cluster scheduler decides on which server to run the task, where the task is then run as a process, container or a virtual machine. Scheduler optimizations are important as they provide higher server utilization, lower latency, improved load balancing, and fault tolerance. Achieving good task placement is hard. The problem has multiple dimensions and requires algorithmically complex optimizations. This increases placement latency and limits cluster scalability. In this paper we consider different cluster scheduler architectures and optimization problems.
Highlights
Cluster scheduler decides on which server to run the task, where the task is run as a process, container or a virtual machine
Scheduler optimizations are important as they provide higher server utilization, lower latency, improved load balancing, and fault tolerance
[49] Schwarzkopf M., Konwinski A., Abd-El-Malek M. et al Omega: Flexible, scalable schedulers for large compute clusters
Summary
С начала 2000 годов началось активное внедрение вычислительных кластеров за счет использования стандартных компонент: обычных двух- или четырехпроцессорных рабочих станций (или персональных компьютеров) и коммуникационного оборудования (Myrinet, SCI, Fast Ethernet и др.) [4]. Для решения таких задач кластер мог обходиться без системы управления (программа запускалась напрямую на всех узлах). Для гибкого совместного использования дорогого вычислительного ресурса, система управления должна разделять кластер между поступающими от пользователей заданиями. Проблема масштабирования систем управления и планировщиков больших кластеров не касается большинства пользователей. Масштабирование может быть важно и для небольших кластеров, если поток состоит из большого количества коротких интерактивных задач [9,10]. Это важно как для владельцев больших систем (в Google отмечали, что их система планирования позволила избежать траты миллиардов долларов на строительство нескольких дата-центров [11]), так и для небольших организаций, где потеря нескольких сотен долларов в месяц из-за недогруженных виртуальных машин имеет значение. Что оптимизация размещения задач на группах кластеров в различных моделях очень тесно связана с проблемами упаковки.
Sign-in/Register to view highlights & summary Sign-in/Register to access full text options 
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a callMore From: Proceedings of the Institute for System Programming of the RAS
Disclaimer: All third-party content on this website/platform is and will remain the property of their respective owners and is provided on "as is" basis without any warranties, express or implied. Use of third-party content does not indicate any affiliation, sponsorship with or endorsement by them. Any references to third-party content is to identify the corresponding services and shall be considered fair use under The CopyrightLaw.
