Du möchtest deine Google Search Console Daten dauerhaft in BigQuery archivieren, die Google Datenbank ist aber eine totale Blackbox für dich? Kein Problem: wir zeigen dir detailliert, wie du ein Projekt in der Google Cloud anlegst und die Daten von der GSC an BiqQuery schickst.
👱 Über den Autor:
Michael Hohenleitner ist SEO-Berater, Coach, Data Analyst und geschäftsführender Gesellschafter der StrategieVier GmbH. Davor war er bei namhaften Unternehmen wie Sixt und SportScheck als Senior SEO Manager tätig.
Inhalt:
Seit dem 21. Februar 2023 stellt Google allen Nutzern der Search Console eine tägliche automatische Archivierung der Search Console Daten in Google BiqQuery Datenbank zur Verfügung. Diese macht das Archivieren der Search Console Daten deutlich einfacher und ist eine gute Gelegenheit für jeden SEO sich ohne Programmieren zu müssen ein kleines Keyword-Data-Warehouse einzurichten.
💡 Was ist BigQuery?
BigQuery ist ein Cloud-basiertes Data-Warehouse- und Analysesystem, das von Google entwickelt wurde. Es ermöglicht Benutzern, große Datenmengen schnell und einfach zu analysieren, indem es skalierbare, schnelle Abfragen über strukturierte und unstrukturierte Daten in der Cloud ausführt. BigQuery ist besonders gut geeignet für die Verarbeitung von Big Data, einschließlich Datensätzen, die in der Größe von Terabytes oder sogar Petabytes gemessen werden können. Es verwendet eine SQL-ähnliche Abfragesprache, um Daten aus verschiedenen Quellen zu extrahieren und zu analysieren, einschließlich Google Cloud Storage, Google Drive, Cloud Firestore, Cloud Spanner und anderen.
Warum ist das wichtig?
Die Google Search Console ist eine wichtige Datenquelle für die Optimierung von Websites in Bezug auf SEO. Leider werden die Daten dort nur für 16 Monate gespeichert. Die Betrachtung der Klickzahlen über einen längeren Zeitraum ist also nicht möglich.
Außerdem sind Exporte über das User Interface der Search Console auf 1.000 Zeilen begrenzt, was selbst bei kleinen Websites häufig zu wenig ist.
Mit der Möglichkeit, die Daten automatisiert in BigQuery zu speichern, löst Google nicht nur die Problematik der Speicherdauer, sondern macht auch Analysen und Exporte mit mehr als 1.000 Zeilen möglich.
Wie du deine Search Console Daten automatisiert in BigQuery speicherst, zeigen wir dir hier Schritt für Schritt.
⚠️ Google BigQuery ist ein kostenpflichtiger Dienst. Solange deine Website nicht allzu groß ist, sind die Kosten jedoch sehr gering. Wie du die Zahlungsdaten für Google Cloud Projekte einrichtest, erfährst du in Schritt 5.
Was kostet BigQuery?
Die Kosten richten sich je nach Menge an gespeicherten Daten und wie häufig diese abgefragt werden. Die Preise unterscheiden sich zusätzlich nach Nutzung:
- Abfragepreise:
- On-Demand-Preise
- Pauschalpreise
- Speicherpreise:
- Aktiver Speicher
- Langfristiger Speicher
Stand März 2023 waren bei den On-Demand-Preisen das erste Terabyte ebenso kostenlos wie die ersten 10 GB bei den Speichern. Die aktuellen Preise findest du in der BigQuery Preisliste bei Google.
1. Ein Projekt in BigQuery anlegen
Zunächst musst du in BigQuery ein Projekt anlegen. Dazu rufst du die Website https://console.cloud.google.com/ auf und loggst dich mit deinen Google Zugangsdaten ein (z.B. die, mit denen du auch die Search Console nutzt).
Dort wählst du ein bestehendes Projekt aus oder legst ein neues an:
Nun navigierst du im Burger-Menü oben links auf APIs und Dienste und zu Aktivierte APIs und Dienste, um die API von BigQuery zu aktivieren.
2. BigQuery API aktivieren
Auf der nun erscheinenden Seite wählst du APIs und Dienste aktivieren:
Es öffnet sich die Seite der API-Bibliothek mit einem Suchfeld. Dort suchst du nach BigQuery API:
Anschließend wählst du in den Suchergebnissen BigQuery API aus:
Jetzt muss die API noch aktiviert werden. Klicke auf API Aktivieren, sodass der grüne Haken erscheint:
3. Der Search Console Zugriff auf BigQuery ermöglichen
Damit die Search Console die Daten an BigQuery übertragen kann, muss der Console noch der Zugriff auf das Projekt gegeben werden.
Dazu navigierst du zum Menüpunkt IAM & Verwaltung:
Dort wählst du oben den Link Zugriff gewähren aus.
Wichtig ist dabei, dass exakt die Daten angegeben werden, die Google vorgegeben hat:
- Hauptkonto:
search-console-data-export@system.gserviceaccount.com - Rolle 1: BigQuery-Jobnutzer
- Rolle 2: BigQuery-Dateneditor
Speichere anschließend die Eingaben. Bevor es in der Search Console weitergeht, solltest du dir die ID deines Projekts notieren. Diese findest du im Menü oben rechts unter Projekteinstellungen.
4. Bulk-Datenexport in der Search Console einrichten
In diesem Schritt richten wir in der Search Console den Export zu BigQuery ein. Die Einstellungen dazu findest du in der Search Console unter Einstellungen > Bulk-Datenexport.
Hier brauchst du nun die ID deines Cloud-Projekts (siehe oben). Diese trägst du im entsprechenden Feld ein und wählst einen Datenstandort. Dieser wird in aller Regel “Europa” sein.
Anschließend kannst du die Einstellungen noch einmal überprüfen, bevor die Datenübertragung eingerichtet wird:
5. Zahlungsinformationen einrichten
Google BigQuery ist ein zahlungspflichtiger Dienst. Deshalb wirst du wahrscheinlich beim Versuch, die Datenübertragung einzurichten, eine Fehlermeldung erhalten, weil kein Zahlungskonto hinterlegt ist.
Um Zahlungsinformationen zu hinterlegen, gehst du zurück zu deinem Google Cloud Projekt und wählst im Menü Abrechnung:
Dort wirst du darüber informiert, dass kein Rechnungskonto hinterlegt ist. Um dies zu tun, klicke auf Rechnungskonto verknüpfen:
Es kommt eine Meldung, dass ein neues Rechnungskonto erstellt werden muss.
Im folgenden Prozess gibst du deine Zahlungsinformationen an. Anschließend sollte ein Zahlungskonto mit deinem Projekt verknüpft sein. Um das zu prüfen, kannst du unter Abrechnung Rechnungskonto verwalten sehen, mit welchen Projekten dein Rechnungskonto verknüpft ist. In dieser Übersicht sollte dein Projekt (Projekt-ID) auftauchen, dass du für den BiqQuery Export der Search Console Daten angelegt hast.
Ist das der Fall, sollte einer erfolgreichen Datenübertragung nichts mehr im Weg stehen. Gehe also zurück zur Search Console und versuche erneut den Bulk-Datenexport einzurichten, nun sollte es klappen:
Der Link Zum Projekt führt dich direkt zu Google BigQuery, wo die Daten nun gespeichert werden.
Die Daten in BigQuery
Ist alles korrekt eingerichtet, findest du nach 1-2 Tagen einen täglichen Export deiner Search Console Daten in BigQuery.
Dabei werden zwei Tabellen erzeugt. Im Reiter Vorschau kannst du sehen, wie die Daten aussehen:
URL-Daten
In der Tabelle searchdata_url_impression siehst du alle URLs und die dazugehörigen Keywords, die mindestens eine Impression generiert haben und nicht von Google (z.B. wegen persönlichen Daten) herausgefiltert wurden.
Keyword-Daten
Die Tabelle searchdata_site_impression enthält ausschließlich Keyword-Daten:
Daten von BigQuery exportieren
Um mit den Daten zu arbeiten, kannst du entweder direkt in BigQuery mit SQL befehlen Daten verarbeiten oder die exportierst die Daten. Zwei Export-Varianten dürften dabei besonders spannend sein:
- Export in ein Looker Studio: Dabei wird direkt ein neues Projekt in Looker Studio angelegt. Wenn du bereits ein funktionierendes Reporting hast, kannst du dort auf die Datenbank zugreifen.
- Export als CSV: Wenn du es gewohnt bis, mit CSV-Daten zu arbeiten, kann BigQuery auf eine (bis zu 1 GB große) CSV im Google Cloud Storage (auch dafür können Gebühren anfallen) ablegen. Das funktioniert wie folgt:
Im Menüpunkt Export wählst du Export to GCS (= Google Cloud Storage). Dort musst du zunächst einen neuen Bucket erstellen, in dem die Daten abgelegt werden. Der Bucket muss in derselben Region sein, wie dein Search Console Export (i. d. R. European Union).
Nun muss noch ein Dateiname vergeben werden und der Export kann gestartet werden. Die CSV-Datei findest du dann unter Cloud Storage im Hauptmenü.
Wir hoffen, dir hat diese Anleitung geholfen, deine GSC Daten erfolgreich nach BigQuery zu exportieren.
Viel Spaß mit einem Google Cloud Projekt.
🤔 Strukturierte Daten sind für dich böhmische Dörfer?
Wir helfen dir dabei, deine Website technische so fit zu machen, dass sie allen SEO-Anforderungen genügen. ✉️ Zur kostenlosen Beratung
