In der letzten Zeit habe ich Orts- und Zeitbedingt wenig geschrieben, aber dennoch etwas “rumgebastelt”. Mein Ziel war es, die ganzen Seiten aus dem Supplemental Index zu bekommen und die Feeds und Trackbacks aus den Google Suchergebnissen zu entfernen.
Google hat die Abfrage des Supplemental Index jetzt abgeschaltet, aber durch Eingabe von “site:www.domain.tld” kann man sich alle indexierten Seiten einer Domain anschauen. Meistens findet man auf den hinteren Seiten (bei mir 8 und 9, da insgesamt nicht so viele Seiten im Index sind) viele Ergebnisse, bei denen man den Hinweis “- Zusätzliches Ergebnis -” lesen kann.
Wer nicht weiß, was der Supplemental Index ist, findet bei Sistrix eine ausführliche Erklärung.
So wie ich den Beitrag verstanden habe, befinden sich alle Einträge mit dem Hinweis “Zusätzliches Ergebnis” im Supplemental Index und werden nur sehr schlecht oder gar nicht gerankt. Bei den Kommentar-Feeds von Wordpress (Screenshot) ist das sogar gut, denn es soll ja nur der eigentliche Beitrag in den Suchergebnissen erscheinen! Ansonsten entsteht sicher Verwirrung bei den Besuchern, wenn der Feed vor dem Beitrag rankt und beim Klick auf den Eintrag nur eine leere Feed-Seite erscheint.
Viele Blogger haben jedoch das größte Problem mit dem “normalen” Haupt-Feed. Dieser Feed rankt normalerweise sehr gut und oft vor den entsprechenden Beiträgen. Ein Besucher, der etwas bestimmtes sucht, kann natürlich mit dem Feed für alle Beiträge nicht viel anfangen und wird die Seite schnell wieder verlassen. Dieses Problem ließ und lässt sich sehr einfach mit dem NoIndex Feed Plugin von JoostdeValk lösen.
Inzwischen kann man auch bei FeedBurner einstellen, dass der Feed nicht von den Suchmaschinen indexiert werden soll. Die entsprechende Einstellung findet man unter dem Menüpunkt “Publicize”.
Wenn man jedoch das Feed-Problem ein für alle mal (und für ALLE Feeds) aus der Welt schaffen will, sollte man das am besten und einfachsten mit einer entsprechenden robots.txt Datei machen.
Ich habe gerade erst bei Gerald vom S-O-S SEO Blog gelesen, dass er das übliche Problem hat und mich deshalb spontan dazu entschlossen auch mal meine robots.txt-experimentier-Ergebnisse in diesem Beitrag zu veröffentlichen.
Normalerweise wird für Wordpress-Blogger die folgende robots.txt empfohlen:
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /date/
Disallow: /comments/
Warum Google und andere Suchmaschinenroboter allerdings getrennt behandelt werden sollen, weiß ich nicht. Außerdem bringt diese robots.txt herzlich wenig, wenn man sein Blog, so wie ich, in einem Unterverzeichnis installiert hat. Trotzdem habe ich ebenfalls mit dieser robots.txt angefangen und ein bißchen mit den Google Webmaster Tools gespielt.
Mit der robots.txt - Analyse kann man sehr schön und mit direktem Ergebnis sehen, welcher Eintrag welche Folgen hat. Man muss einfach nur den Text der robots.txt in den Webmaster-Tools ändern und ihn mit verschiedenen URLs und den verschiedenen Google-User-Agents testen, und bekommt direkt das Ergebnis angezeigt, ohne dass Schaden entstehen kann.
Nachdem ich eine Weile mit verschiedenen robots.txt-Varianten und URLs von meinem Blog herumgespielt habe, bin ich zu folgendem Ergebnis gekommen:
User-agent: *
Disallow: /blog/wp-
Disallow: /blog/feed/
Disallow: /blog/*/feed/
Disallow: /blog/*/trackback/
Disallow: /blog/rss/
Disallow: *.css
Das “Disallow: /blog/wp-” habe ich reingenommen, weil bei mir wegen dem neuen Template die Login- und die Admin-Seite indexiert wurden. Bei Gerald wird allerdings in den Kommentaren darauf hingewiesen, dass dies eventuell auch alles unter “/wp-content/” blockiert und somit die Bilder nicht mehr in der Google Bildersuche auftauchen werden. Ich habe das gerade mal getestet und es stimmt tatsächlich, Bilder im Blog werden vom Googlebot-Image nicht mehr gecrawled!
Also, wer Wert darauf legt, dass seine Bilder in der Google Bildersuche auftauchen, sollte die erste Zeile mit “Disallow: /blog/wp-” nicht verwenden! Nachdem ich mir das ganze nochmal überlegt und mir die indexierten Seiten bei Google und Yahoo angesehen habe, bin ich zu dem Schluss gekommen, dass man diese Zeile eigentlich generell weglassen kann. Den Beiträgen wird auch eine indexierte Login-Seite kein Ranking wegnehmen. Oder kennt jemand noch einen anderen Grund, warum man man URLs mit “wp-” für Bots blockieren sollte?
Alle anderen Einträge in der robots.txt sollten eigentlich selbsterklärend sein. “Disallow: /blog/feed/” blockiert den Hauptfeed (kein Plugin mehr nötig) und “Disallow: /blog/*/feed/” blockiert all die lästigen Kommentar-Feeds der Beiträge. Bei mir indexiert Yahoo auch wie verrückt die Trackbacks für die Beiträge deshalb die Zeile “Disallow: /blog/*/trackback/”. Für CSS-Stylesheets scheint Yahoo ebenfalls eine Vorliebe zu haben, deshalb habe ich noch “Disallow: *.css” hinzugefügt.
Diese robots.txt habe ich nun seit dem 06. Juli im Einsatz und bisher wurden 28 URLs dadurch eingeschränkt. Unter den 28 URLs sind nur Trackbacks und Feeds sowie folgende URL “http://www.compboard.de/blog/wp-includes/js/prototype.js?ver=1.5.0-0″.
Ich denke, man kann also mit Sicherheit behaupten, dass diese robots.txt bedenkenlos einsetzbar ist um die Indexierung der Feeds verlässlich zu verhindern! Wer gegenteiliger Meinung ist, kann das gerne in den Kommentaren kundtun oder auch Verbesserungsvorschläge unterbreiten. 
Vor einem Jahr wurde FeedBurner von Google aufgekauft und das ganze Internet erwartete Großes. Doch Nichts geschah… Die versprochene oder zumindest allseits erwartete Einbindung von AdSense ließ auf sich warten, beziehungsweise erfolgte nicht zufriedenstellend. Nun wurde endlich im FeedBurner Weblog angekündigt, dass ab nächster Woche die Integration von AdSense in die Feeds beginnen soll.
