Abstract
"HybriLIT" Heterogeneous platform is a part of the Multifunctional Information and ComputingComplex (MICC) of the Laboratory of Information Technologies named after MG Meshcheryakov ofJINR, Dubna. Heterogeneous platform consists of Govorun supercomputer and HybriLIT educationand testing polygon. Data storage and processing system is one of the platform components. It isimplemented using distributed and parallel filesystems (NFS, EOS, Lustre). Platform performancedepends on many factors, including performance of storage and file systems.The best storage performance for wide variety of user jobs may be obtains with optimal filesystemparameters. The number of tests of local filesystems (EXT family and XFS) was carried out. Therewere empirically obtained an optimal parameters o data storage system at which the performance havebeen high results.The new methodology was developed for analyzing the obtained measurements of IOPS (input-outputoperations per second) and Latency (milliseconds) for results evaluations.Various filesystems were analyzed by the developed methodology. The conclusion was drawn aboutof optimal parameters of the investigated filesystems.
Highlights
"HybriLIT" Heterogeneous platform is a part of the Multifunctional Information and Computing Complex (MICC) of the Laboratory of Information Technologies named after MG Meshcheryakov of JINR, Dubna
Heterogeneous platform consists of Govorun supercomputer and HybriLIT education and testing polygon
Platform performance depends on many factors, including performance of storage and file systems
Summary
Системы хранения и обработки данных гетерогенной платформы «HybriLIT»[1] обеспечивают пользователей широким набором возможностей: распределённые файловые системы EOS и Lustre применяются для размещения больших объёмов данных; динамические хранилища, создаваемые по технологии «Storage-on-Demand», для временных файлов при выполнении расчётов; дисковые серверы с файловой системой ZFS, подключённые по протоколу NFS v4 ко всем вычислительным узлам и пользовательским интерфейсам, для хранения домашних директорий пользователей. В основе применяемых файловых систем используются технологии — RAIN (Redundant Array of Independent Nodes) и/или RAID (Redundant Array of Independent Disks), что обеспечивает высокую степень надёжности хранения данных. Пользователи гетерогенной платформы применяют различные математические алгоритмы для обработки и анализа данных, создавая одновременно различные виды нагрузок на систему хранения данных гетерогенной платформы. Высокопроизводительные алгоритмы предъявляют жёсткие требования к скорости доступа и производительности систем хранения данных, что в условиях многопользовательских систем является трудной задачей. Современная парадигма хранения данных разделяет данные пользователей на несколько типов в зависимости от необходимости использования — «холодные», «тёплые», «горячие» и «ультра-горячие». Для каждого типа данных требуется применять свою систему хранения, построенную на определённом типе носителей информации, и подключённую в локальную сеть многопользовательской системы наиболее подходящей сетевой технологией. Настройки и оптимизации систем хранения и обработки данных являются особо актуальными для многопользовательских вычислительных систем
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have