Динамическая компиляция SQL-запросов для СУБД PostgreSQL

R.A Buchatskiy,E.Y Sharygin,R.V Baev,L.V Skvortsov,R.A Zhuykov,D.M Melnik

doi:10.15514/ispras-2016-28(6)-3

R.A Buchatskiy, E.Y Sharygin + Show 4 more

Open Access

https://doi.org/10.15514/ispras-2016-28(6)-3

Copy DOI

Abstract

In recent years, as performance and capacity of main and external memory grow, performance of database management systems (DBMSes) on certain kinds of queries is more determined by raw CPU speed. Currently, PostgreSQL uses the interpreter to execute SQL queries. This yields an overhead caused by indirect calls to handler functions and runtime checks, which could be avoided if the query were compiled into native code on-the-fly, i.e. just-in-time (JIT) compiled: at run time the specific table structure is known as well as data types and built-in functions used in the query as well as the query itself. This is especially important for complex queries, performance of which is CPU-bound. We have developed a PostgreSQL extension that implements SQL query JIT compilation using LLVM compiler infrastructure. In this paper we show how to implement LLVM-analogues of the main operators of the PostgreSQL, how to replace Volcano iterator model abstraction (open(), next(), close()) by the abstraction that is more suitable to generate code for a particular query. Currently, with LLVM JIT we achieve up to 4.3x speedup on TPC-H Q1 query as compared to original PostgreSQL interpreter.

Highlights

We have developed a PostgreSQL extension that implements SQL query JIT compilation using LLVM compiler infrastructure
In this paper we show how to implement LLVM-analogues of the main operators
PostgreSQL c динамической компиляцией выражений – исходные коды проекта на сайте github.com. https://github.com/ispras/postgres/tree/llvm-expressions

Summary

Введение

Среди систем управления базами данных идёт постоянная борьба за производительность. Работы по улучшению производительности большинства реляционных СУБД традиционно были в основном направлены на оптимизацию доступа к внешней памяти, поскольку именно скорость доступа к данным обычно является узким местом при выполнении запросов. Предлагаемый в данной работе метод динамической компиляции запросов позволит значительно увеличить производительность СУБД на запросах, скорость обработки которых в первую очередь определяется эффективностью использования процессора. Этот подход позволяет добиться более эффективного использования процессора, сохранив при этом общую архитектуру СУБД и её подсистем, изменив только модуль вычисления запросов. В работе [1,2] описывается алгоритм генерации эффективного машинного кода для запросов к реляционной СУБД на языке SQL с использованием компиляторной инфраструктуры LLVM [3]. Для СУБД PostgreSQL [5] разработано коммерческое расширение Vitesse DB [6] с закрытым исходным кодом, в котором реализована динамическая компиляция запросов с использованием LLVM. В [8] описывается метод компиляции выражений в PostgreSQL в машинный код с использованием инфраструктуры LLVM. В данной работе рассматривается динамическая компиляция SQL-запросов для СУБД PostgreSQL с помощью компиляторной инфраструктуры LLVM

Динамическая компиляция запросов в PostgreSQL

Переход к альтернативной модели выполнения запросов

Реализация push-based модели в динамическом компиляторе

Динамическая компиляция выражений

Результаты

Заключение