Wie man Suchmaschinen davon abhält, eine WordPress-Website zu crawlen

Kürzlich fragte uns einer unserer Nutzer, wie er Suchmaschinen davon abhalten kann, seine WordPress-Website zu crawlen und zu indizieren.

Es gibt verschiedene Szenarien, in denen Sie Suchmaschinen davon abhalten möchten, Ihre Website zu crawlen und in den Suchergebnissen aufzuführen.

In diesem Artikel zeigen wir Ihnen, wie Sie Suchmaschinen davon abhalten, eine WordPress-Website zu crawlen.

Warum sollte man Suchmaschinen davon abhalten, eine WordPress-Website zu crawlen?

Für die meisten WordPress-Websites sind Suchmaschinen die wichtigste Traffic-Quelle. Sie fragen sich vielleicht, warum jemand Suchmaschinen blockieren möchte?

Hier sind einige Situationen, in denen Sie nicht möchten, dass Suchmaschinen Ihre Website indizieren:

• Wenn Sie neu anfangen, wissen Sie vielleicht nicht, wie Sie eine lokale Entwicklungsumgebung oder eine Staging-Site erstellen können, und entwickeln Ihre Website stattdessen im laufenden Betrieb. Sie möchten nicht, dass Google Ihre Website indiziert, wenn sie sich im Aufbau oder im Wartungsmodus befindet.

• Es gibt auch viele Leute, die WordPress nutzen, um private Blogs zu erstellen, die nicht von Suchmaschinen indiziert werden sollen, weil sie privat sind.

• Sie können WordPress für das Projektmanagement oder ein Intranet verwenden, wenn Sie nicht möchten, dass Ihre internen Dokumente öffentlich zugänglich sind.

Es ist ein weit verbreiteter Irrglaube, dass Suchmaschinen Ihre Website nicht finden können, wenn keine Links auf Ihre Domain verweisen. Dies ist nicht ganz richtig.

Es kann zum Beispiel sein, dass Links auf Ihre Website verweisen, weil der Domänenname zuvor jemand anderem gehörte. Außerdem gibt es Tausende von Seiten im Internet, die einfach nur Domänennamen auflisten. Ihre Website könnte auf einer dieser Seiten erscheinen.

Sehen wir uns nun an, wie man Suchmaschinen davon abhalten kann, Ihre Website zu crawlen. Wir werden vier Methoden behandeln:

Methode 1: Suchmaschinen bitten, Ihre WordPress-Site nicht zu crawlen

Dies ist die einfachste Methode, schützt Ihre Website aber nicht vollständig vor dem Crawling.

WordPress verfügt über eine eingebaute Funktion, mit der Sie Suchmaschinen anweisen können, Ihre Website nicht zu indizieren. Alles, was Sie tun müssen, ist, die Seite Einstellungen " Lesen und markieren Sie das Kästchen neben "Sichtbarkeit in Suchmaschinen".

Wenn dieses Kästchen markiert ist, fügt WordPress diese Zeile in die Kopfzeile Ihrer Website ein:

WordPress ändert auch die robots.txt-Datei Ihrer Website und fügt ihr diese Zeilen hinzu:

 Benutzer-Agent: * Nicht zulassen: / 

Mit diesen Zeilen werden Robots (Web-Crawler) gebeten, Ihre Seiten nicht zu indizieren. Es liegt jedoch ganz im Ermessen der Suchmaschinen, ob sie diese Aufforderung akzeptieren oder ignorieren. Auch wenn die meisten Suchmaschinen diese Aufforderung respektieren, besteht dennoch die Möglichkeit, dass einige Seiten oder Bilder Ihrer Website indiziert werden.

Wenn Sie es Suchmaschinen unmöglich machen wollen, Ihre Website zu indizieren oder zu crawlen, dann müssen Sie Ihre WordPress-Website mit den Methoden 3 oder 4 passwortgeschützt machen.

Methode 2: Suchmaschinen bitten, einzelne Seiten nicht zu crawlen

Vielleicht möchten Sie, dass Suchmaschinen Ihre Website crawlen und indexieren, aber bestimmte Beiträge oder Seiten nicht in die Suchergebnisse aufnehmen.

Am einfachsten geht das mit dem All in One SEO (AIOSEO) Plugin, dem besten SEO-Tool für WordPress, dem bereits über 3 Millionen Unternehmen vertrauen.

Für dieses Tutorial werden wir die kostenlose Version von AIOSEO verwenden, da sie das SEO-Analyse-Tool enthält. Es gibt auch eine Premium-Version von AIOSEO, die mehr Funktionen wie Sitemap-Tools, Redirection Manager, Schema Markup, robots.txt-Editor und mehr bietet.

Als erstes müssen Sie das AIOSEO-Plugin auf Ihrer Website installieren und aktivieren. Wie Sie das Plugin installieren und konfigurieren, erfahren Sie in unserer Schritt-für-Schritt-Anleitung zur Einrichtung von All in One SEO für WordPress.

Sobald das Plugin eingerichtet ist, können Sie Suchmaschinen bitten, bestimmte Beiträge und Seiten nicht zu indizieren. Auch hier liegt es ganz im Ermessen der Suchmaschinen, diese Anfrage zu akzeptieren oder zu ignorieren.

Bearbeiten Sie einfach den Beitrag oder die Seite, die nicht indiziert werden soll. Scrollen Sie unten im WordPress-Editor zu AIOSEO-Einstellungen und klicken Sie dann auf die Registerkarte "Erweitert".

Beachten Sie, dass der Artikel die Standardeinstellungen für Robots verwendet.

Um dies zu ändern, müssen Sie den Schalter "Standardeinstellungen verwenden" auf "Aus" stellen.

Jetzt können Sie das Kontrollkästchen "Kein Index" anklicken. Sobald der Beitrag veröffentlicht oder aktualisiert wurde, werden die Suchmaschinen aufgefordert, ihn nicht zu indizieren.

Methode 3: Passwortschutz für eine ganze Website mit cPanel

Wenn Ihr WordPress-Hosting-Anbieter einen cPanel-Zugang zur Verwaltung Ihres Hosting-Kontos anbietet, können Sie Ihre gesamte Website mit cPanel schützen.

Loggen Sie sich einfach in Ihr cPanel-Dashboard ein und klicken Sie auf das Symbol "Verzeichnisschutz" im Abschnitt "Dateien".

Als Nächstes müssen Sie den Ordner finden, in dem Sie WordPress installiert haben, in der Regel ist das der Ordner public_html.

Klicken Sie dann einfach auf die Schaltfläche "Bearbeiten" neben dem betreffenden Ordner.

Anmerkung: Wenn Sie mehrere WordPress-Sites unter dem public_html Verzeichnis, dann müssen Sie auf die Schaltfläche public_html um diese Websites zu durchsuchen, und bearbeiten Sie dann den Ordner für die Website, die Sie mit einem Passwort schützen möchten.

Dadurch gelangen Sie zu einem Bildschirm, auf dem Sie den Passwortschutz aktivieren können.

Aktivieren Sie einfach das Kontrollkästchen "Dieses Verzeichnis mit einem Passwort schützen" und klicken Sie auf die Schaltfläche "Speichern". Wenn Sie möchten, können Sie auch den Namen für das geschützte Verzeichnis anpassen.

Sie erhalten eine Bestätigungsmeldung, dass die Zugriffsrechte für das Verzeichnis geändert wurden.

Anschließend müssen Sie auf die Schaltfläche "Zurück" klicken.

Sie werden zu einem Bildschirm weitergeleitet, auf dem Sie einen Benutzernamen und ein Kennwort erstellen können, die Sie für den Zugriff auf dieses Verzeichnis verwenden müssen.

Sie müssen einen Benutzernamen und ein Kennwort eingeben und das Kennwort anschließend bestätigen. Notieren Sie sich Ihren Benutzernamen und Ihr Kennwort an einem sicheren Ort, z. B. in einer Kennwortverwaltungs-App.

Sobald Sie auf die Schaltfläche "Speichern" klicken, haben Sie Ihrer WordPress-Website erfolgreich einen Passwortschutz hinzugefügt.

Wenn nun ein Benutzer oder eine Suchmaschine Ihre Website besucht, werden sie aufgefordert, den Benutzernamen und das Kennwort einzugeben, die Sie zuvor erstellt haben, um die Website anzuzeigen.

Methode 4: Passwortschutz für WordPress mit einem Plugin

Wenn Sie eine verwaltete WordPress-Hosting-Lösung verwenden, haben Sie möglicherweise keinen Zugang zu cPanel. In diesem Fall können Sie ein WordPress-Plugin verwenden, um Ihre Website mit einem Passwort zu schützen.

Hier sind die beiden beliebtesten Lösungen:

1. SeedProd ist die Nummer 1 unter den "Coming Soon"- und "Maintenance Mode"-Plugins für WordPress und wird auf über 800.000 Websites eingesetzt. Es verfügt über eine vollständige Zugriffskontrolle und Berechtigungsfunktionen, mit denen Sie Ihre Website vor allen anderen verbergen können, einschließlich Suchmaschinen. Wir haben eine Schritt-für-Schritt-Anleitung für SeedProd.
2. Mit Password Protected können Sie Ihre WordPress-Website ganz einfach mit einem einzigen Passwort schützen (keine Benutzererstellung erforderlich). In unserer Schritt-für-Schritt-Anleitung erfahren Sie, wie Sie eine WordPress-Website mit einem Passwort schützen können.

Wir hoffen, dass dieser Artikel Ihnen geholfen hat, Suchmaschinen davon abzuhalten, Ihre WordPress-Website zu crawlen oder zu indizieren. Vielleicht interessiert Sie auch unser Leitfaden zur Beschleunigung der Leistung Ihrer Website oder unsere Expertenauswahl für die besten WordPress-Landingpage-Plugins.

Wenn Ihnen dieser Artikel gefallen hat, dann abonnieren Sie bitte unseren YouTube-Kanal für WordPress-Videotutorials. Sie können uns auch auf Twitter und Facebook finden.