Wenn man an einer Webseite arbeitet, egal ob diese bereits live gegangen ist, oder es sich um ein neues Projekt handelt, man sollte dabei immer eine Kopie der Seite in einer Staging-Umgebung haben. Aber man möchte ganz sicher nicht, dass diese Seite von einer Suchmaschine indiziert wird. In diesem Beitrag möchte ich euch ein paar Wege vorstellen, wie man eine solche Indizierung verhindern kann.

Methode 1: Die Standard-Einstellung nutzen

Im Dashboard der Seite navigiert ihr zum Punkt „Einstellungen | Lesen“. Dort findet ihr die Option „Sichtbarkeit für Suchmaschinen“ in könnt hier die Checkbox „Suchmaschinen davon abhalten, diese Website zu indexieren“ aktivieren. Dies erstellt dynamisch eine sogenannte „robots.txt“ Datei, die Suchmaschinen mitteilt, dass eure Seite nicht indiziert werden soll. Wie der Hinweis „Es ist Sache der Suchmaschinen, dieser Bitte nachzukommen“ allerdings ausdrückt ist dies nur eine Anweisung an Suchmaschinen dies nicht zu tun, manche werden die Seite vielleicht dennoch indizieren.

Methode 2: Verhindern der Indizierung durch die Serverkonfiguration

Die erste Methode funktioniert eigentlich ziemlich gut. Es gibt nur ein großes Problem damit. Diese Einstellung wird in der Datenbank gespeichert und kann einfach überschrieben werden? Wie? Nun, es kommt oft vor, dass man sich bei der Arbeit an einer Staging-Seite mal einen aktuellen Stand der Live-Datenbank importiert. In dieser ist die Einstellungen natürlich nicht aktiviert. Denkt ihr immer daran, das dann sofort nachzuholen? Vielleicht vergesst ihr es mal.

Daher kann man die Indizierung auch über die Serverkonfiguration verhindern und gefahrlos eine Live-Datebank importieren. Hierzu fügt ihr einfach folgende Zeilen in die Konfiguration ein:

Header set X-Robots-Tag "noindex"
Header merge X-Robots-Tag "noarchive"

Das könnt ihr in der .htaccess Datei der Staging Seite machen. Das ist auch der beste Weg, wenn man die globale Konfiguration der Servers nicht bearbeiten kann. Aber auch hier besteht die Gefahr, dass man vielleicht versehentlich die .htaccess Datei mit der Version der Live-Seite überschreibt.

Falls ihr einen eigenen Staging-Server habt und nicht möchtet, dass irgendeine Seite dieses Severs indiziert wird, dann fügt die beiden Zeilen z.B. in eine globale Konfiguratoinsdatei wie /etc/apache2/apache2.conf oder eine ähnliche Datei ein.

Methode 3: Verwendet ein Wartungsplugin

Durch den Einsatz eines Wartung (oder englisch „Maintenance“) Plugins kann man auch verhindern, dass die Staging-Seite indiziert wird. Damit wird oft ein Passwort vor die gesamte Seite geschaltet oder man muss sich einloggen, um die eigentliche Seite zu sehen. Damit kann man auch anderen Zugriff auf die Seite geben, aber eben nicht jedem. Diese Methode hat leider ebenfalls das zuvor beschriebene Problem, denn der Zustand der gerade aktiven Plugins wird auch in der Datenbank gespeichert und importiert man eine Live-Datenbank, muss man daran denken, das Plugin danach wieder zu aktivieren.

Methode 4: Verwendet eine „Basic Authentication“

Mit der „Basic Authentication“, oder auch „htaccess Schutz“ genannt, könnt ihr die gesamte Seite ohne ein zusätzliches Plugin schützen. Bei einem Apache-Webserver fügt man hierbei ein paar Zeilen in die .htaccess Datei und alle, die die Seite aufrufen, müssen zuerst einen Benutzernamen und ein Passwort eingeben. Diese Methode ist also sicher, wenn man die Live-Datenbank importiert, aber wenn die .htaccess Datei mit der Version der Live-Seite überschreibt, muss man den Schutz erneut einrichten. Daher bietet es sich auch hier an, die Einstellung global (pro Seite) in der Serverkonfiguration zu hinterlegen.

Fazit

Es gibt viele verschiedene Wege um zu verhindern, dass eine Staging-Website durch Suchmaschinen indiziert wird. Welche Methode auch immer ihr verwendet, ihr solltet immer prüfen, ob dieser Schutz noch funktioniert, wenn ihr etwas von einer Live-Seite importiert habt. Man kann zwar eine indizierte Seite aus einer Suchmaschine löschen lassen, ihr müsst dann aber jeder Seite über deren URL in jeder einzelnen Suchmaschinen über die individuellen Werkzeuge manuell löschen lassen.