Duplicate Content entsteht bei Web Content Management Systemen wie WordPress oder Joomla automatisch, da der Inhalt eines Artikels auf verschiedenen dynamisch generierten Webseiten gleich ist. Beispielsweise gehören RSS-Feeds oder Kategorie-Seiten dazu. Oder es gibt ein Forum, dass sowohl eine normale als auch eine für mobile Geräte angepasste Version desselben Content anbietet.
Suchmaschinen wie Google möchten den Nutzern möglichst optimal passende Suchergebnisse liefern. Wenn mehrere Seiten mit demselben Inhalt existieren, wird Google eine Seite davon auswählen und als Ergebnis anzeigen. Alle anderen Seiten werden abgewertet oder fliegen gleich aus den SERPs.
Aufgabe einer SEO ist es also, der Suchmaschine mitzuteilen, dass der auf diese Weise erzeugte Duplicate Content gar keiner ist, weil der Inhalt ja nur einmal vorliegt, aber auf verschiedene Weise angezeigt wird. Um Duplicate Content zu vermeiden oder zu kontrollieren, sind sowohl Methoden der On-Page, als auch der On-Site und der Off-Site Optimierung nötig.
Eine erste Möglichkeit besteht darin, die doppelten Seiten, die man nicht als Suchergebnis sehen möchte, in der Datei robots.txt explizit per DISALLOW vom Crawling auszuschließen. Auch ganze Verzeichnisse kann man auf diese Weise blockieren. Für komplexere Blockaden sind sogar reguläre Ausdrücke möglich.
Wer im HTML-Code seiner Seite Zugriff auf den Head-Bereich der doppelten Seite hat, kann dort das Meta-Tag <meta name="robots" content="noindex"> einbauen.
Bei dynamisch erzeugten Seiten ändert man hierzu üblicherweise das zu Grunde liegende Template.
Ein anderes Problem ist, dass eine Website oft sowohl unter der Adresse mit WWW und ohne WWW zu erreichen ist. Ein schneller Test zeigt, ob eine Website unter zwei Adressen erreichbar ist, zum Beispiel unter http://www.sevke.net und unter https://sevke.net. Ändert sich eine der beiden Adressen nach der Eingabe im Browser automatisch in die andere Adresse, so ist an dieser Stelle kein Nachholbedarf. Ansonsten leitet man die eine Adresse am besten mit einer permanenten Umleitung an die andere Adresse um. Dies geschieht mit Hilfe der Datei .htaccess, die sich im Root-Verzeichnis der Domäne befindet.
Dazu schreibt man folgendes Script-Schnipselchen in die Datei:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www\.sevke\.net$
RewriteRule ^(.*)$ https://sevke.net/$1 [L,R=301]
Damit werden alle Adressanfragen, die mit „www“ beginnen, auf die gleiche Adresse ohne „www“ umgeleitet. Das L steht für „last“ und bricht die Verarbeitung der .htaccess nach dem Befehl sofort ab. Das R steht für „redirect“ und leitet die Adresse um. Der zurückgegebene Status-Code 301 steht für „moved permanently“.
Google bietet alternativ oder ergänzend die Möglichkeit, die richtige Domänenadresse als kanonische Domäne (canonical domain) mit Hilfe der Webmaster-Tools zu registrieren. Eine Anleitung dazu gibt es in dem Artikel Bevorzugte Domain (mit oder ohne „www“).
Die kanonische Domäne können Sie inzwischen aber auf jeder Seite auch selber per HTML angeben, und zwwar wieder im Head-Bereich als Link-Tag mit den Attributen ref und rel. Das könnte folgendermaßen aussehen: <link rel="canonical" href="https://blog.sevke.net/" />
Neben dem selbst verursachten Duplicate Content kann es auch passieren, dass eine andere Website zum Beispiel Inhalte von anderen Websites sammelt und verlinkt. Das kann durchaus gewünscht sein.
Auch Affiliate-Netzwerke sind ein guter Kandidat für Duplicate Content. Möglicherwiese kommen die Backlinks auf eine bestimmte Seite mit angehängten Parametern, um die Quelle des Klicks leichter verfolgen zu können. Damit wird aber jedesmal eine scheinbar doppelte Seite erzeugt.
In so einem Fall sollte man den Betreiber der Website ansprechen und ihn darum bitten, die bei ihm angezeigte Seite mit den oben genannten Möglichkeiten vom Crawling auszuschließen.
Natürlich bemühen sich die Algorithmen der Suchmaschinen, den Original-Inhalt zu identifizieren und dementsprechend als Suchergebnis anzuzeigen. Unter anderem gehört dazu der Zeitpunkt, wann ein bestimmter Inhalt wo gefunden wurde. Sorgen Sie also gegebenenfalls dafür, dass Ihre Partner den Inhalt erst nach Ihnen veröffentlichen. Ein guter Author-Rank und allgemein eine gute Domain-Authority helfen ebenfalls bei der Beurteilung, welcher Inhalt originär ist und welcher dupliziert.
Ein Tool, mit dem Sie im Internet überprüfen können, ob ein Inhalt an anderer Stelle als Dublette vorhanden ist, finden Sie auf http://www.copyscape.com.
Weitere Infos zum Duplicate Content gibt es in Googles Webmaster Zentrale.
