Du möchtest wissen, warum deine Website bei Google nicht gefunden wird? Vielleicht stecken Probleme mit der Indexierung dahinter, die verhindern, dass Google deine Seite in den Suchergebnissen anzeigen kann. Hier erfährst du, wie du solche Probleme identifizieren und lösen kannst.
Inhalt
👱 Über den Autor:
Michael Hohenleitner ist SEO-Berater, Coach, Data Analyst und geschäftsführender Gesellschafter der StrategieVier GmbH. Davor war er bei namhaften Unternehmen wie Sixt und SportScheck als Senior SEO Manager tätig.
Was ist die Indexierung und warum ist sie wichtig?
Indexierung bezeichnet den Prozess, bei dem Suchmaschinen wie Google Webseiten durchsuchen und Informationen aus ihnen in ihrem “Index” speichern. Das ist im Grunde eine riesige Datenbank, in der alle Informationen von Webseiten abgelegt werden. Wenn jemand eine Suche in Google eingibt, durchsucht Google nicht das gesamte Internet in Echtzeit. Stattdessen wird dieser Index durchsucht, um die relevantesten Ergebnisse schnell zu finden und anzuzeigen.
Das bedeutet: Nur wenn deine Seite indexiert ist, kann sie auch in den Suchergebnissen erscheinen. Das bedeutet, mehr Sichtbarkeit, mehr Besucher und potenziell mehr Geschäft. Ohne Indexierung bleibt deine Seite im riesigen Meer des Internets unsichtbar.
Kurz gesagt: Die Indexierung stellt sicher, dass deine Webseite in den Suchergebnissen gefunden werden kann. Sie ist das Fundament für jede SEO-Strategie und ein Schlüssel zu deiner Online-Sichtbarkeit.
Wie Suchmaschinen Webseiten indexieren
🤔 Muss ich meine Website bei Google anmelden?
Nein. Google ist in der Lage, nahezu alle Webseiten selbständig zu finden. Durch Verlinkungen von bereits indexierten Seiten oder dem Einreichen einer XML-Sitemap in der Google Search Console kannst du den Vorgang aber beschleunigen.
Die Indexierung von Webseiten durch Suchmaschinen lässt sich vereinfacht in drei Abschnitte unterteilen:
- Crawling: Suchmaschinen verwenden sogenannte “Crawler” oder “Bots”, um das Internet zu durchsuchen. Diese Bots folgen Links von einer Webseite zur nächsten und sammeln dabei Daten über jede Seite.
- Analyse des Inhalts: Nachdem die Bots eine Seite gefunden haben, analysieren sie den Inhalt. Das beinhaltet Texte, Bilder, Videos und andere Multimedia-Elemente. Dabei wird auch geprüft, ob die jeweilige Seite überhaupt zur Indexierung freigeben ist.
- Speichern im Index: Nach der Analyse wird der Inhalt der Seite in den Index der Suchmaschine aufgenommen. Ab diesem Zeitpunkt kann die Seite über die Google Suche gefunden werden.
Überprüfung des Indexierungsstatus
Die Überprüfung des Indexierungsstatus deiner Website ist ein wesentlicher Schritt, um sicherzustellen, dass deine Inhalte in den Suchergebnissen erscheinen. Beim Überprüfen des Indexierungsstatus gibt es zwei Herangehensweisen, je nach Problemstellung:
- Du möchtest wissen, ob eine bestimmte Seite von dir indexiert ist
- Du möchtest einen Überblick bekommen, wie es um den Indexierungsstatus deiner gesamten Website bestellt ist.
Prüfen, ob eine bestimmte URL indexiert ist
Verwendung der Site-Abfrage in der Google-Suche:
Das ist ein schneller und einfacher Weg, um zu sehen, welche Seiten deiner Website von Google indexiert wurden.
- Gehe zu Google und gib in das Suchfeld “site:” gefolgt von der URL deren Indexierungsstatus du ermitteln möchtest ein. Zum Beispiel: “site:meinedomain.de”.
- Wenn Google nun die URL, nach der du gesucht hast, anzeigt, ist die Seite indexiert
Verwendung der Google Search Console:
Die Google Search Console ist ein mächtiges Werkzeug, das detaillierte Informationen über die Indexierung und Leistung deiner Website in den Google-Suchergebnissen bietet.
- Melde dich in deiner Google Search Console an und wähle deine Website aus.
- Wähle im linken Menü den Punkt “URL-Prüfung” aus.
- Hier kannst du eine bestimmte URL deiner Website eingeben. Das Tool prüft dann den aktuellen Indexierungsstatus der Seite.
So prüfst du den Indexierungsstatus für deine gesamte Website
Um zu erkennen, ob du ein Indexierungsproblem auf deiner Website hast, musst du dir zunächst einen Überblick über dein URL-Inventar verschaffen. Wichtig ist es dieser Stelle, dass die Einstellungen, die das Crawling (Robots.txt) und die Indexierung deiner Webseite steuern (mehr dazu weiter unten) korrekt gesetzt sind. Denn: es geht ja ausschließlich darum zu prüfen, ob alle URLs indexiert sind, die auch indexiert werden sollen.
Überblick über das Inventar deiner Website verschaffen:
Um herauszufinden, über wie viele Seiten deine Website verfügt, gibt es folgende Möglichkeiten:
- Bauchgefühl: ungenau, aber manchmal ausreichen. Bei kleineren Webseiten ist häufig zumindest ungefähr bekannt, wie viele Seiten indexiert sein sollten
- XML-Sitemap: Sind alle Einstellungen korrekt gesetzt, sind alle indexierbaren URLs auch in der XML-Sitemap enthalten. Daraus kannst du ableiten, wie viele URLs im Google Index sein sollten
- Website-Crawl: Mit Tools wie Screaming Frog, den ahrefs Webmaster Tools oder Seorch (kostenlos) kannst du deine Website wie eine Suchmaschine crawlen und sehen, wie viele indexierbare Seiten existieren. Diese Methode ist am aufwändigsten, hat aber zwei Vorteile:
- Du siehst auch gleich, ob alle Seiten die korrekten Indexierungs-Einstellungen haben, weil auch nicht-indexierbare URLs erfasst werden
- Du erkennst, ob Seiten mangels interner Verlinkung gar nicht gefunden werden
Prüfen der Indexierung deiner Domain:
Um anschließend herauszufinden, wie viele Seiten indexiert sind, gibt es drei Möglichkeiten:
- Site-Abfrage: Gehe zu Google und gib in das Suchfeld “site:” gefolgt von deiner Domain ein, z.B. “site:meinedomain.de”. Die Ergebnisse zeigen alle Seiten deiner Website, die Google indexiert hat. Stimmt die Anzahl indexierter URLs (zumindest grob) mit der Anzahl der indexierbaren Seiten deiner Domain überein, ist alles im grünen Bereich.
- Indexierungsbericht in der Google Search Console: Im linken Menü der Search Console findest du unter “Abdeckung” den Indexierungsbericht. Dieser Bericht zeigt, welche Seiten indexiert wurden und welche nicht. Zudem gibt er Aufschluss darüber, warum bestimmte Seiten nicht indexiert wurden, z.B. wegen Crawling-Fehlern oder Blockaden.
- Search Console URL Inspection API: eher für fortgeschrittene User, aber die effizienteste Methode den Indexierungsstatus mehrerer URLs zu ermitteln ist die URL Inspection API. Diese kannst du über das kostenlose Tool https://valentin.app/inspect.html abfragen. Dazu wählst du einfach deine Search Console Property aus und fügst die URLs, deren Status du prüfen möchtest ein und los geht’s. Bedenke jedoch, dass die Abfrage von Google auf 2.000 URLs pro Tag limitiert ist.
Jetzt, wo du den Indexierungsstatus deiner Website kennst, kommen wir zu Methoden, mit denen du die Indexierung verbessern kannst.
🤔 Das alles sind für dich böhmische Dörfer?
Wir helfen dir dabei, deine Website technische so fit zu machen, dass sie allen SEO-Anforderungen genügen. ✉️ Zur kostenlosen Beratung
So verbesserst du die Indexierung deiner Website
Um sicherzustellen, dass deine Website optimal von Suchmaschinen indexiert wird, gibt es verschiedene Strategien und Tools, die du nutzen kannst. Hier sind einige Schritte, die du unternehmen kannst, um die Indexierung deiner Website zu verbessern:
Prüfe deine Indexierungsregeln
- Warum ist das wichtig? Mit Angaben wie “noindex” können Seiten bewusst von der Indexierung von Suchmaschinen ausgeschlossen werden. Sind diese Angaben versehenlicht gesetzt, können sie unbewusst die Indexierung einzelner Unterseiten oder der kompletten Domain verhindern.
- Was kannst du tun? Nutze eine Browser Add-on, das dir zeigt, ob die Seite, die du gerade aufgerufen hast, indexierbar ist. Ich empfehle das Add-on SEO Pro, es zeigt nicht nur die indexierbarkeit einer Seite an, sondern gibt auch viele weitere Informationen.
Einreichung einer Sitemap über Google Search Console
- Was ist eine Sitemap? Eine Sitemap ist eine XML-Datei, die alle URLs deiner Website auflistet und Suchmaschinen darüber informiert, welche Seiten auf deiner Website verfügbar sind.
- Wie verbessert es die Indexierung? Durch das Einreichen einer Sitemap in der Google Search Console gibst du Google eine klare Struktur deiner Website. Dies hilft den Bots, den Inhalt effizienter zu crawlen und zu indexieren.
- So geht’s: Melde dich in der Google Search Console an, gehe zu “Sitemaps” und füge den Link zu deiner Sitemap hinzu. Nach der Einreichung wird Google beginnen, deine Sitemap zu durchsuchen.
Für einzelne URLs: Verwendung der “URL überprüfen”-Funktion in der Google Search Console
“Diese praktische Funktion nutze ich immer, wenn ich eine bestehende Seite überarbeitet oder eine neue Seite erstellt habe. Damit kann ich sicherstellen, dass die Inhalte schnell indexiert werden”
- Wie verbessert es die Indexierung? Wenn du wichtige Seiten hast, die du schnell indexiert haben möchtest, kannst du diese Funktion nutzen.
- So geht’s: Im Dashboard der Search Console gibt es die Option “URL-Prüfung”. Hier kannst du die spezifische URL eingeben, die du überprüfen möchtest. Nach der Überprüfung hast du die Möglichkeit, die URL zur Indexierung einzureichen.
Optimierung der internen Verlinkung
- Warum ist das wichtig? Interne Verlinkungen helfen Suchmaschinen, den Zusammenhang zwischen den Seiten deiner Website zu verstehen und fördern das Crawling. Dabei gilt: gut verlinkte Inhalte werden tendenziell häufiger gecrawlt als selten verlinkte.
- Tipps zur Optimierung:
- Verlinke relevante Inhalte miteinander.
- Nutze aussagekräftige Ankertexte, die den Inhalt der verlinkten Seite beschreiben.
- Vermeide übermäßige interne Links; sie sollten natürlich und hilfreich für den Benutzer sein.
- Stelle sicher, dass auch ältere Inhalte über ausreichend eingehende Links verfügen
Vermeidung von Blockierungen durch die robots.txt
- Was ist robots.txt? Es handelt sich um eine Datei, die Suchmaschinen darüber informiert, welche Teile deiner Website sie nicht crawlen sollen.
- Warum ist es wichtig? Wenn Seiten versehentlich in der robots.txt blockiert sind, werden sie nicht indexiert.
- Was kannst du tun?
- Überprüfe regelmäßig deine robots.txt-Datei und stelle sicher, dass keine wichtigen Inhalte blockiert werden.
- In der Google Search Console kannst du den “robots.txt Tester” verwenden, um zu sehen, wie Google deine robots.txt interpretiert und ob es Blockierungsprobleme gibt.
💡Kleiner Exkurs zur Robots.txt-Datei:
Die Robots.txt-Datei reguliert nicht die Indexierung, sondern das Crawling. Das bedeutet, dass Indexierungs-Regeln wie ein noindex-Tag nicht von Suchmaschinen gelesen werden, wenn die URL per Robots.txt vom Crawling ausgesperrt ist. Werden per Robots.txt gesperrte Inhalte häufig verlinkt, kann es sein, dass sie trotzdem in den Suchergebnissen erscheinen.
In den meisten Fällen ist deshalb eine Noindex-Angabe die bessere Wahl, um Seiten von der Indexierung auszuschließen. Die Robots.txt-Datei sollte dagegen vor allem dann eingesetzt werden, wenn durch das Crawling unverhältnismäßig viele URLs aufgerufen werden würden.
Optimiere die Qualität deiner Inhalte
- Warum ist es wichtig? Suchmaschinen haben keine Ressourcen und kein Interesse daran, Inhalte zu indexieren, deren Qualität nicht sonderlich hoch ist und die keinen Mehrwert für die User schaffen.
- Was kannst du tun?
- Stelle sicher, dass deine Inhalte gute Qualität aufweisen und hilfreiche Informationen bieten
- Vermeide dünne Inhalte und leere Seiten den Suchmaschinen zur Indexierung anzubieten.
Reduziere den Einsatz von JavaScript
- Warum ist es wichtig? Google kann zwar JavaScript-Inhalte (meistens) lesen, tut es aber nicht immer, weil der Aufwand deutlich höher ist als bei “normalen” Text-Dokumenten.
- Was kannst du tun?
- Stelle sicher, dass deine Inhalte auch ohne aktiven JavaScript sichtbar sind. Mit Browser Add-ons wie der Web-Developer Toolbar kannst du prüfen, wie deine Website ohne aktiven JavaScript aussieht.
Vermeide doppelte Inhalte
- Warum ist es wichtig? Dass Duplicate Content für SEO ein Problem ist, wissen mittlerweile viele. Duplicate Content kann aber auch die Indexierung von Seiten verhindern. Warum? Wie bereits weiter oben geschrieben hat Google kein Interesse, Inhalte ohne Mehrwert zu indexieren. Da doppelte Inhalte keinen Mehrwert schaffen, werden Duplikate häufig nicht indexiert.
- Was kannst du tun?
- Prüfe im Indexierungsbericht der Search Console, ob es Inhalte gibt, die mit der Meldung “Duplikat – vom Nutzer nicht als kanonisch festgelegt” versehen sind. Sind hier Seiten dabei, die deiner Meinung nach wichtig sind, gehe in das URL-Prüftool der Search Console und schaue welche URL Google als original festgelegt hat. Anschließend kannst du die Duplikate auflösen (löschen und Weiterleiten einer Variante oder die Inhalte zu einem Dokument zusammenführen).
Sorge für schnelle Ladezeiten
- Warum ist es wichtig? Google hat keine Zeit, langsame Webseiten zu crawlen. Ist eine Seite zu langsam, wird das Crawling auch mal abgebrochen. Außerdem hängt die Ladezeit davon ab, wie viele Unterseiten Google auf deiner Domain crawlt. Schnelle Seiten = mehr Seiten werden gecrawlt.
- Was kannst du tun?
- Bilder komprimieren: Nutze Tools wie TinyPNG oder JPEG Optimizer, um die Dateigröße deiner Bilder zu reduzieren, ohne die Qualität erheblich zu beeinträchtigen.
- Browser-Caching nutzen: Durch das Setzen von Cache-Headern können wiederkehrende Besucher Inhalte schneller laden, da bereits heruntergeladene Ressourcen im Browser-Cache gespeichert werden.
- Lazy Loading anwenden: Lade Bilder oder Videos erst, wenn sie im Viewport des Benutzers sichtbar werden, anstatt alles beim ersten Seitenaufruf zu laden.
Verwendung der korrekten Status Codes
- Warum ist es wichtig? Suchmaschinen indexieren ausschließlich Seiten, die dem Client (Broswer, Suchmaschinen Crawler…) mit einem Status Code 200 antworten. Dieser besagt, dass das Dokument erfolgreich geladen werden konnte. Alle anderen Status Codes werden nicht indexiert.
- Was kannst du tun?
- Stelle sicher, dass deine wichtigen Seiten alle mit einem Status Code 200 antworten.
Überwachung des Indexierungsstatus
Jetzt, wo du die Werkzeuge für eine gute Indexierung deiner Website kennengelernt hast, ist es noch wichtig zu betonen, dass du einen regelmäßigen Blick auf den Indexierungsstatus deiner Website werfen solltest.
Dazu eignet sich der Indexierungsbericht in der Search Console sehr gut. Er zeigt dir nicht nur an, wie viele Seiten indexiert sind, sondern auch wie viele nicht indexiert sind und warum. Die Informationen, warum eine Seite nicht indexiert ist, sind leider nicht immer selbsterklärend, trotzdem empfehle ich dir zumindest darauf zu achten, ob es in einem der Berichte signifikante Änderungen gibt.
Fazit
Ich hoffe, ich konnte dir in diesem Leitfaden ein paar Tipps an die Hand geben, mit der du die Indexierung deiner Seite verbessern kannst. Sollen sich die Probleme nicht lösen lassen, solltest du mit einem kostenpflichtigen Tool wie Screaming Frog in Kombination mit der URL Inspection API analysieren, wo die Probleme liegen. Gerne unterstützen wir dich dabei. Wir freuen uns, von dir zu hören.
Über den Autor:
