In recent years, the analysis of large data sets has become increasingly important and a lot of tooling has been developed to support data scientists. While modern database management systems (DBMSs) have become increasingly efficient, they lack integration. The Python library pandas is one of the most popular software projects for working with data and provides excellent interoperability and convenience. However, performance is a significant shortcoming of pandas. pandas does not perform well for large data sets and complex queries because of being implemented in Python and heavily relying on intermediate copies of the data. We propose mlir_pandas, an approach for a transparent drop-in replacement for pandas, which translates the pandas operations to MLIR, an Intermediate Representation, which is then passed to LingoDB, a compiling DBMS based on MLIR. In the performance evaluation of our implemented prototype for mlir_pandas, we can show an average speedup by a factor of 10 compared to pandas and a considerably reduced peak memory usage.     «

In recent years, the analysis of large data sets has become increasingly important and a lot of tooling has been developed to support data scientists. While modern database management systems (DBMSs) have become increasingly efficient, they lack integration. The Python library pandas is one of the most popular software projects for working with data and provides excellent interoperability and convenience. However, performance is a significant shortcoming of pandas. pandas does not perform well...     »

In den letzten Jahren hat die Analyse großer Datenmengen zunehmend an Bedeutung gewonnen und es wurden zahlreiche Werkzeuge zur Unterstützung von Data Scientists entwickelt. Moderne Datenbankmanagementsysteme (DBMS) sind zwar immer effizienter geworden, aber es fehlt ihnen an Integration. Die Python-Bibliothek pandas ist eine der beliebtesten Softwarelösungen für das Arbeiten mit Daten und bietet hervorragende Interoperabilität und Komfort. Ein wesentlicher Nachteil von pandas ist jedoch die Performance. pandas bietet keine gute Performance bei großen Datensätzen und komplexen Anfragen, da es in Python implementiert ist und häufig Zwischenkopien der Daten anfertigt. Wir schlagen mlir_pandas vor, einen Ansatz für einen transparenten Drop-in-Ersatz für pandas, der die pandas-Operationen nach MLIR, eine Intermediate Representation, übersetzt, welche dann an LingoDB, ein kompilierendes DBMS, das auf auf MLIR basiert, weitergegeben wird. In der Performance-Evaluation unseres implementierten Prototyps für mlir_pandas können wir eine durchschnittliche Beschleunigung um den Faktor 10 im Vergleich zu Pandas und einen erheblich reduzierten maximalen Speicherverbrauch nachweisen.     «

In den letzten Jahren hat die Analyse großer Datenmengen zunehmend an Bedeutung gewonnen und es wurden zahlreiche Werkzeuge zur Unterstützung von Data Scientists entwickelt. Moderne Datenbankmanagementsysteme (DBMS) sind zwar immer effizienter geworden, aber es fehlt ihnen an Integration. Die Python-Bibliothek pandas ist eine der beliebtesten Softwarelösungen für das Arbeiten mit Daten und bietet hervorragende Interoperabilität und Komfort. Ein wesentlicher Nachteil von pandas ist jedoch die Pe...     »