BigQuery

BigQuery ist ein Webservice aus der Analytics-Produktreihe von Google. Dieser Service wurde von Google speziell für die besonders schnelle, webbasierte Datenabfrage sowie die Verarbeitung von extrem großen Datensätzen entwickelt. Dabei handelt es sich um Datenmengen in der Größenordnung von mehreren Milliarden Zeilen. Für deren Verarbeitung nutzt der Service eine spezielle Syntax, die der von SQL sehr ähnlich ist. Um diese großen Datenmengen bewältigen zu können, nutzt der Dienst die bereits vorhandenen Cloud-Storage-Infrastrukturen von Google. Diese sind dezentralisiert und ermöglichen dadurch eine deutliche Beschleunigung der Datenverarbeitung. Der Effekt: Innerhalb von wenigen Sekunden lassen sich selbst größte Datenmengen problemlos verarbeiten. Der Zugriff auf den Service erfolgt mittels einer REST-orientierten Programmierschnittstelle (API).

Veröffentlichung, Herkunft und Namensgebung

Google veröffentlichte den Dienst ursprünglich bereits im Jahr 2011 unter dem Namen V2. Nach Informationen des Konzerns handelt es sich dabei um eine externalisierte Version der Dremel Query, die Google-intern Verwendung findet. Beide Dienste nutzen sogenannte spaltenorientierte Speicher. Diese ermöglichen schnelles Datenscanning. Eine spezielle Baumarchitektur macht zudem die Verteilung von Abfragen und die Aggregation von deren Ergebnissen auf große Computer-Cluster möglich. In der Dremel-Form verwendete Google selbst den Dienst für die Verfolgung von Installationsdaten zu Geräten sowie für die Analyse von Spam und die Erstellung von Crash-Berichten. Die Funktionen des Dienstes wurden seit der Einführung 2011 stets verbessert und weiterentwickelt. Anfang 2013 wurden zum Beispiel Big Join sowie Big Group Aggregations eingeführt.