Noindex, Nofollow & Disallow – Was diese für SEO bedeuten

Beim Anlegen Ihrer Webseite oder dem Hinzufügen neuer Unterseiten, Blogartikel, etc. gibt es mehrere Möglichkeiten dies technisch handzuhaben. Dabei sind insbesondere die Begriffe „noindex“, „nofollow“ sowie „disallow“ grundlegend für die SEO.

Noindex vs. Nofollow vs. Disallow

Noindex beschreibt die Anweisung an die Suchmaschine, die jeweilige Seite nicht zu indexieren, sprich nicht in die Suchergebnisse mit aufzunehmen. Nofollow zielt darauf ab, der Suchmaschine zu verdeutlichen, den Links auf der eigenen Seite nicht zu folgen, um so potenziell schlecht gerankte Seiten nicht in das eigene Ranking miteinzubeziehen.

Eine Seite zu „verbieten“ (disallow) bedeutet, den Suchmaschinen mitzuteilen, dass diese Seite nicht gecrawlt werden soll, was in der robots.txt-Datei der Website erfolgen muss. Dies ist üblich, wenn mehrere Seiten oder Dateien existieren, die für die Leser oder den Suchverkehr nicht von Nutzen sind. Suchmaschinen verschwenden dadurch keine Zeit mit dem Crawlen der für die Besucher nutzlosen Seiten.

Insbesondere noindex und nofollow sind in der SEO immens wichtige Kernbegriffe, die es zu kennen gilt. Diese technischen Maßnahmen und ihre Bedeutung für die Suchmaschinenoptimierung erklären wir im Folgenden ausführlich.

Noindex: Bedeutung und Verwendung

Technisch gesehen funktioniert das Nicht-Indexieren einer Seite in der Regel mithilfe des sogenannten Noindex-Meta-Tags. Dieser wird im Head-Bereich der HTML oder in den Response Headern hinzugefügt. Besonders wichtig dabei ist, darauf zu achten, dass die jeweiligen Seiten, die nicht-indexiert werden sollen, nicht bereits in einer robots.txt-Datei blockiert sind. In diesem Fall nämlich übersieht Google oder eine andere Suchmaschine den Noindex-Tag, wodurch die Seite unter Umständen trotzdem in den Suchergebnissen auftaucht. Praktisch funktioniert das Einfügen eines Noindex-Tags folgendermaßen:

Fügen Sie in den -Abschnitt folgenden Tag ein:

Alternativ kann der Noindex-Tag auch in einem X-Robots-Tag im HTTP-Header verwendet werden. Der Tag sieht dann wie folgt aus:

• X-Robots-Tag: noindex

Ein Noindex-Tag in der robots.txt-Datei weist Suchmaschinen ebenfalls an, die Seite nicht in die Suchergebnisse aufzunehmen. Allerdings stellt dies eine deutlich schnellere und einfachere Möglichkeit dar, mehrere Seiten auf einmal zu nicht-indexieren, insbesondere wenn man Zugriff auf die robots.txt-Datei hat. So könnte man beispielsweise alle URLs in einem bestimmten Ordner nicht-indexieren. Für die Suchmaschinenoptimierung ist der Meta-Tag „noindex“ eine elegante Möglichkeit, um doppelte Inhalte zu vermeiden.

Hier ist ein Beispiel für eine Noindex-Direktive, die in der robots.txt-Datei platziert werden könnte:

• Noindex: /robots-txt-noindexed-page/

Nofollow: Bedeutung und Verwendung

Ein Nofollow-Tag auf einem Link weist Suchmaschinen an, den Link nicht zu verwenden, um über die Relevanz der verlinkten Seiten (PageRank) zu entscheiden. Google wird somit eine URL, die es in einem Nofollow-Link findet, nicht crawlen können. Nofollow-Links werden üblicherweise unter anderem in Kommentaren und anderen Inhalten, die nicht selbst kontrolliert werden, in Gastbeiträgen und bezahlten Links sowie in Einbettungen wie Widgets oder Infografiken vergeben. Nofollow-Links werden gelegentlich auch selektiv gesetzt, um den internen PageRank (Linkjuice) auf wichtigere Seiten zu lenken.

Nofollow-Tags können über folgende Anweisungen gekennzeichnet werden:

• Im Head-Bereich der Seite (um alle Links auf dieser Seite zu nicht-followen):
• Der Link-Code (um einen einzelnen Link zu no-followen):

Im September 2019 hat Google ein Update der Nofollow-Richtlinie angekündigt und zwei neue Link-Attribute eingeführt:

• rel=”sponsored”

Mit dem Attribut “sponsored” sind alle Links zu kennzeichnen, die zu Werbezwecken angelegt wurden und bei denen Sponsoring- und Vergütungsvereinbarungen bestehen.

• rel=”ugc”

Als Attribut für User Generated Content wird es für Links innerhalb von User Generated Content-Seiten empfohlen, beispielsweise für Forenbeiträge und Blog-Kommentare.

Disallow: Bedeutung und Verwendung

Eine Seite zu „verbieten“ (disallowen) beziehungsweise nicht zuzulassen, bedeutet, dass die Seite von Google nicht gecrawlt werden kann. Oftmals geschieht dies jedoch nicht als einzige Maßnahme. Vielmehr wir der Disallow-Tag häufig mit dem Noindex-Tag kombiniert. Zunächst wird allerdings lediglich der Disallow-Tag separat betrachtet:

Um ein Disallow-Tag hinzuzufügen, fügt man einfach Folgendes in die robots.txt-Datei ein:

• Disallow: /ihre-seite-url/

Nicht zugelassene (disallowte) Seiten können keinen PageRank an andere Seiten übermitteln – daher sind alle Links auf diesen Seiten aus SEO-Sicht wertlos – und das Verbieten von Seiten, die eigentlich enthalten sein sollten, kann katastrophale Folgen für den Traffic haben. Daher gilt es besonders vorsichtig mit diesem Tag umzugehen und ihn mit Bedacht zu verwenden.

Das Disallow-Tag eignet sich besonders für sensible Inhalte, wie Login-Seiten oder Bereiche der Website mit massivem Datenvolumen, wie bestimmte Bilddatenbanken.

Die Kombination aus Noindex- und Disallow-Tags ist lediglich in der robots.txt-Datei möglich. Dies verhindert, dass Seiten im Index erscheinen, und verhindert auch, dass die Seiten gecrawlt werden. Des Weiteren ist dabei zu beachten, dass kein PageRank über diese Seite laufen kann. Unter Umständen kann das jedoch gewünscht sein, weshalb diese Entscheidung ebenso wohl überlegt getroffen werden muss.

Wenn Sie sich über die gegenwärtige Verwendung der Noindex, Nofollow und Disallow-Tags auf Ihrer Website unsicher sind, analysieren wir gerne im Rahmen eines SEO-Check Ihre gegenwärtige Verwendung.

Noindex + Nofollow

Zusätzlich zu der jeweils einzelnen Verwendung der Tags können diese auch in Kombination angelegt werden. Unter dem Strich werden häufig die Tags noindex und nofollow in SEO verknüpft. Ein Nofollow-Tag zu einer Seite allein kann nicht verhindern, dass diese komplett gecrawlt wird. Um darüber hinaus eine Indexierung zu unterbinden, muss die Seite daher zusätzlich auch nicht-indexiert werden. Google kann die Seite daraufhin zwar immer noch crawlen, aber nicht mehr in ihrem Index auflisten. Zu den Seiten, die üblicherweise nicht indiziert werden, gehören unter anderem Admin-/Login-Seiten, interne Suchergebnisse und Registrierungsseiten.

SEO-Manager haben anhand der Charakteristika einer Seite zu entscheiden, wie sie diese Tags verwenden. Dabei kann man insbesondere die drei behandelten Tags verwenden, um die Crawlbarkeit und Sichtbarkeit einer Seite zu beeinflussen. Dabei sind im Wesentlichen die Tags noindex und nofollow für SEO relevant. Je nachdem, um was für eine Seite es sich speziell handelt, hat man unterschiedliche Entscheidungsmöglichkeiten zur Gestaltung des Links. Einerseits kann man einzelne oder auch ganze Bündel von Seiten nicht-indexieren, wodurch sie nicht mehr im Index von Google, sprich in den Suchergebnissen, auftauchen. Andererseits kann man genauso verfahren, um die Seite(n) zu no-followen, also die Links auf dieser Seite nicht in das seiteneigene Page-Ranking miteinfließen zu lassen. Zusätzlich hat die disallow-Funktion Auswirkungen auf die Crawlbarkeit der Seite. Webseiten, welche mit einem Disallow-Tag versehen sind, können von Google nicht mehr gecrawlt werden.

An dieser Stelle sei noch einmal gesagt, dass nofollow Links zu einem natürlichen Link-Profil dazugehören und auf jeder Ihrer Konkurrenzseiten auch auftauen werden.

Wenn Sie Unterstützung beim Anlegen Ihrer Webseite oder dem Hinzufügen neuer Unterseiten, Blogartikel, etc. benötigen, helfen wir Ihnen weiter. Vereinbaren Sie einen Termin für ein kostenloses Erstgespräch und lassen Sie sich von unseren Kompetenzen überzeugen.