SEO Crawler – Ihre Funktion & Einblick in das Crawl Budget

Content und Backlinks sind wesentliche Faktoren im Bereich SEO, die die Rankings der Webseiten beeinflussen. Darüber sind sich die meisten Webmaster schon im Klaren. Hingegen ist das Wissen über Crawler und ihre Wirkung auf SEO, kein bereits etabliertes Know How. 

Und das, obwohl die erste Suchmaschine, die von einem Crawler angetrieben wurde, 1994 erschien und somit den Start der Crawler, wie wir sie heute kennen, formte. 

Natürlich waren sie zu der Zeit noch längst nicht so entwickelt wie sie es jetzt sind. Ihr Hauptzweck war vor allem das Indexieren, als das Internet aus knappen 100.000 Webseiten bestand. 

Mit der Zeit entwickelten sie sich von simplen Programmen zu multifunktionalen und Multitasking Bots, auch die 2. Generation von Crawler genannt. Dadurch hat sich das Spiel der Datenanalyse verändert und zeigt auch in der Zukunft ein Potential für Wachstum.

Aber was Crawler genau sind, wie sie heutzutage funktionieren und was es mit dem Crawl Budget auf sich hat, erläutern wir Ihnen in diesem Artikel. 

Crawler und ihre Definition

Die Crawler sind  speziell von Google entwickelten Programme, die auch zahlreiche äquivalente  Namen haben, z.B. : Spider, Robots oder Bots. Diese verraten bereits welche Aufgaben sie zudem haben: Sie `kriechen` (crawling) durch das Internet, um Seiten für die Suchmaschinen zu indexieren. Darüber hinaus speichern sie deren Daten für einen zukünftigen Nutzen. 

Diese speziellen Programme sind nötig, da die Suchmaschinen nicht alle existierenden Webseiten automatisch auf dem Radar haben. 

Crawlers kommen auf die verschiedenen Seiten durch Links. Sie lesen den Content einer Seite und den darin enthaltenen Links, bevor sie diesen auf andere Seiten folgen. So hangeln sich die Crawlers praktisch durch das Internet. 

Haben Sie eine neue Webseite ohne jegliche Links, die andere Seiten mit Ihrer verbindet, ist das auch kein Problem. Gehen Sie einfach in Ihrem eingerichteten Google Search Console Account links auf “URL-Prüfung”.

Geben Sie Ihre zu prüfende URL in das Suchfeld ein. Nach einem kurzen Augenblick gibt Ihnen Google die Information, ob die URL bereits auf Google ist. Falls diese noch nicht auf Google ist, klicken Sie auf “Indexierung beantragen”.

Dadurch beschleunigen Sie in der Regel den Prozess der Indexierung und die Crawler werden bald die URL in die Suchergebnisse aufnehmen.

Crawler und ihre Funktionsweise 

Crawler kommen auf die verschiedenen Seiten durch Links. Sie lesen den Content einer Seite und die darin enthaltenen Links, bevor sie diesen auf andere Seiten folgen. 

So hangeln sich die Crawlers praktisch durch das Internet. Jedoch spielt sich alles viel mehr im Detail ab, da Bots komplizierte Programme sind. Hier wird der Vorgang ausführlich beschrieben: 

Crawler checken die Robots.txt Datei Ihrer Seite

Sobald die Crawler eine neue Webseite entdeckt haben, downloaden sie die robots.txt Datei (beachten Sie in diesem Zusammenhang das Thema des Noindex Tags. Diese enthält die Regeln zu der jeweiligen Seite, nämlich welche Seiten gecrawlt werden können und sollen. Außerdem erlaubt es den Crawlern die Sitemaps zu durchsuchen, um das Gesamtlayout bestimmen zu können. 

Crawler checken die Links

Links spielen beim Crawling eine wichtige Rolle: Darauf konzentrieren sich nämlich die Bots so am meisten. Diese folgen den Hyperlinks und benutzen die internen dazu, um sich auf der Webseite zu bewegen und ihre Katalogisierung fortzusetzen. Interne Links sind also nicht nur wichtig, um ein besseres Ranking zu erzielen, sie dienen auch dazu, einen einfachen Weg für die Suchbots zu schaffen. 

Zudem werden auch externe Links durchsucht und welche Webseiten auf Ihre Seite verweisen: Je höher die in den Google Suchergebnissen ranken und je besser die Qualität, umso vorteilhafter, wird es für Sie. Deshalb gilt nicht umsonst Linkbuilding in der (OffPage) SEO als einer der wichtigsten Rankingfaktoren.

Crawler checken Ihre Webseite – Sitemap

Wenn die Bots auf eine Seite kommen, beachten Sie nicht nur die Keywords, sondern auch die Webseite-Kopie in Form Ihrer Sitemap. 

Das tun sie um 3 Schlüssel Faktoren zu bestimmen: 

• Die Relevanz Ihres Inhaltes 
• Die allgemeine Qualität Ihres Inhalts
• Die Autorität Ihres Inhaltes

Sollten Sie zudem extra Punkte mit den Google Bots verdienen wollen, sollten Sie die Berücksichtigung eines Schema Markups in den Code ihrer Webseite nicht ausschließen. Dies gibt den Bots mehr Informationen über Ihre Webseite und hilft ihnen, sie besser einzuordnen. 

Nicht wenige haben zudem auch versucht, die Bots auszutricksen mit bestimmten Black-Hat SEO Techniken. Die Crawler nehmen auch den Versuch von diesen Techniken auf und könnte im schlimmsten Fall zu einer Google Penalty führen. 

Crawler checken Ihre Bilder 

Auch Grafiken und Bilder, Images im Allgemeinen, werden überprüft. Es ist jedoch nicht so, dass ein Bot das Bild ansehen kann und dadurch erschließt, ob es relevant ist oder zum Inhalt passt. Deshalb sind Alt-Tags und die Speicher Titel der Images weiteres Optimierungspotenzial. 

Crawler wiederholen diesen Prozess

Dieser Prozess wiederholt sich, bis sie jede einzelne Webseite besucht, indexiert und deren Daten gespeichert haben. Crawler sind Erforscher und deshalb immer auf der Suche nach entdeckungswürdigen Links auf den Webseiten. Deshalb hören sie auch nicht auf, bis sie jeden Link, durchkämmt haben.

Warum Crawler für SEO wichtig sind

SEO dient dazu die Rankings Ihrer Webseite zu verbessern. Um das zu erreichen, spielen die Erreichbarkeit und Lesbarkeit Ihrer Seite für die Crawlers eine wichtige Rolle. Der Grund hierfür ist, dass die Crawler helfen können, Ihr SEO zu optimieren, da sie: 

Der erste Schritt der Suchmaschinen sind, Ihre Seite aufzufinden und ein regelmäßiger Crawling-Prozess den Maschinen hilft auf dem neuesten Stand Ihres Contents zu bleiben.  Zudem ist es oft so, dass Seiten, die leichter durchsucht werden können, bevorzugt werden. Deshalb hilft dabei eine simple Übersicht und leichte Navigation, nicht nur für die Bots, sondern auch für die Leser.  

Crawl Budget – Definition

Eine Webseite wird nicht nur einmal gecrawlt, die Suchmaschine kommt hin und wieder, um zu schauen, ob z.B. neue Beiträge hochgeladen wurden. Also im Grunde, ob etwas aktualisiert wurde. Das Crawl Budget hängt von der jeweiligen Seite ab und lässt sich aus verschiedenen Faktoren berechnen: 

• Die Größe der Seite: je umfangreicher, desto mehr Crawl Budget wird benötigt 
• Links: Interne Linkstruktur und tote Links
• Server Setup: Die Leistung und Ladezeit wirken sich ebenfalls auf Ihr Budget aus. Eine Pagespeed Optimierung kann hier helfen.

Der Crawl Budget legt die Anzahl an Seiten fest, die der Crawler bei jedem Besuch durchsucht. Dies ist proportional zu den vorhandenen Seiten auf der Webseite festgelegt. Jedoch werden Seiten, die häufiger gecrawlt werden als wichtiger von den Bots empfunden, weshalb Sie Ihr Budget optimieren sollten. 

Wollen Sie zudem auch wissen, wieviel Ihr Budget beträgt, so können dies in Ihrem Google Search Console Account auffinden, unter “Einstellungen” -> “Crawling Statistiken”.

Crawl Budget und Verbesserungsmöglichkeiten

Das Crawl Budget zu verbessern, ist vor allem bei den größeren Seiten äußerst ratsam. 

Dazu müssen Sie festlegen:

1. Welche Seiten, die von Wert für Ihre Nutzer sind, Sie zu welchem Zeitpunkt von Crawler durchsuchen lassen wollen. 
2. Zudem sollten Sie Ihre Sitemap anlegen und ordnen, und die Crawler bei ihrer Durchsuchung auf die wichtigsten Seiten hin verweisen.
3. Räumen Sie Ihre Seite auf, indem Sie Duplicate Content, irrelevante Inhalte und Spam entfernen
4. Auch sollten Sie bei Links mit einer geringerwertigen Qualität aufpassen, und nur Seiten mit hohen Rankings verlinken. 

Fazit zum Thema Crawler und Crawling für SEO

Zu einer erfolgreichen Suchmaschinenoptimierung gehört so viel mehr, als man es ursprünglich vielleicht vermutet hat. Backlinks aufbauen oder Black Hat Techniken vermeiden – dies sind Methoden, die einem in jedem SEO Guide begegnen. Ich hoffe, Sie haben durch diesen Beitrag etwas mitgenommen: Wie SEO Crawler funktionieren, was es mit dem Crawl Budget auf sich hat, und bemerken, dass SEO so umfangreich ist. Haben Sie noch weitere Fragen, dann melden Sie sich gerne!