The overhead of network communication creates a significant performance gap between local and distributed query processing in parallel main-memory database systems. We introduce a novel query engine designed to close this gap. It exploits locality in the data placement, leverages high-speed networks, and avoids the load imbalance caused by skew. A prototypical implementation for the high-performance in-memory database system HyPer outperforms competing systems in the renowned TPC-H benchmark.
Translated abstract:
Teure Netzwerkkommunikation führt zu einer erheblichen Leistungslücke zwischen lokaler und verteilter Anfrageverarbeitung in parallelen Hauptspeicher-Datenbanksystemen. Wir präsentieren den Entwurf für eine neue verteilte Anfrageeinheit um diese Lücke zu schließen. Diese passt sich an die verfügbare Netzwerkbandbreite sowie unerwartete Eigenschaften der Daten an. Ein Prototyp für das hochperformante Hauptspeicher-Datenbanksystem HyPer schlägt konkurrierende Systeme im anerkannten TPC-H Benchmark.
«
Teure Netzwerkkommunikation führt zu einer erheblichen Leistungslücke zwischen lokaler und verteilter Anfrageverarbeitung in parallelen Hauptspeicher-Datenbanksystemen. Wir präsentieren den Entwurf für eine neue verteilte Anfrageeinheit um diese Lücke zu schließen. Diese passt sich an die verfügbare Netzwerkbandbreite sowie unerwartete Eigenschaften der Daten an. Ein Prototyp für das hochperformante Hauptspeicher-Datenbanksystem HyPer schlägt konkurrierende Systeme im anerkannten TPC-H Benchmark...
»