In den Webmaster Tools von Google gibt es jetzt einen Robots.txt Generator.
Die Robots.txt
Mit der Robots.txt kann ein Webmaster kontrollieren, welche Unterseiten seiner Website von Suchmaschinen indiziert werden sollen. Eine robots.txt ist leicht zu erstellen, man benötigt nicht mehr als einen Texteditor. Dennoch greifen viele Webmaster gerne auf Tools zurück, die den Prozess automatisieren. Die bekannteste Alternativ ist der Meta-Tag noindex.
Der Generator
Natürlich sind solche Programme nichts neues aber Google ist die erste große Suchmaschine, die ein solches Tool anbietet. Um es zu starten musst du in den Google Webmaster Tools auf Overview gehen, dann Tools und schließlich Generate robots.txt.
Die Defaulteinstellung ist diese:
User-Agent: *
Allow: /
Damit würde man allen Robots erlauben sich auf sämtlichen Unterseiten auszutoben. Und wenn man das vor hat kann man die Robots.txt eigentlich weglassen.
Das Tool ist in vier Felder geteilt:
- Action mit den Parametern Allow und Block
- Robot mit Google Bot, Google Bot-Mobile, Google Bot-Image, Mediapartners-Google und-Adsbot Google. Zusätzlich kann man auch den Punkt alle Robots auswählen oder eigene Useragents eintragen.
- Dann müssen zu jeder Kombination aus Aktion und Robot noch die passenden Verzeichnisse eingetragen werden.
- Und mit einem Klick kann man die fertige robots.txt aus dem vierten Feld herauskopieren.
Die Anderen
Google warnt bei der Benutzen vor zwei Punkten:
- Es gibt Suchmaschinen, die nicht alle Anweisungen verstehen.
- Es gibt Suchmaschinen, die sich nicht an die Anweisungen halten. Daher sollten private Inhalte zusätzlich zur robots.txt noch mit einem Passwort geschützt werden.
Verbesserungsvorschläge
- Erklärungen: Im Gegensatz zum robots.txt Analyse Tool von Google gibt es im Generator keine Erklärung zu den einzelnen Bots. Woher soll jemand, der dieses Tool nutzt den Unterschied zwischen den einzelnen Google Bots kennen?
- Eigene User Agents: Ein Webmaster, der auf dieses Tool angewiesen ist kennte vermutlich nicht die User Agents der anderen wichtigen Robots. Hier sollte Google wenigstens die großen Suchmaschinenn wie Live, Yahoo und Ask hinzufügen.
- URL beschneiden: Wenn ich statt /test/ die komplette URL, also http://www.lorm.de/test/ eingebe kommt folgende Fehlermeldung:
Error
The following path is not valid:http://www.lorm.de/test
Please enter only relative paths for files and directories. For example, type /directory/file.html or /directory/path instead of http://www.example.com/directory/file.html.
Aha. Warum schneidet Google nicht einfach den ersten Teil der URL ab und trägt den Pfad ein? Usability? Anyone?
Auch wenn das Tool mich (genau wie alle anderen robots.txt Generatoren) nicht überzeugt finde ich es gut, dass Google so etwas anbietet. Denn so werden viele Webmaster an das Thema herangeführt, die noch nie etwas von einer robots.txt gehört haben oder sich bisher nicht die Mühe machen wollten eine anzulegen.
Malte Landwehr bloggt hier seit 2007 über Online Reputation Management.
RSS Feed
E-Mail Newsletter
Einträge (RSS)
Vielen Dank für den Tipp. Bisher habe ich die robots.txt für meine Webprojekte mit dem Texteditor erstellt. Bei den einzelnen Eigenschaften der robots-datei habe ich dann immer gegoogelt. Das kann man sich ja mit diesem Generator ersparen
Gruß Peter
Guter Tipp. Danke! Ähnlich Peter suche ich immer nach den passenden Zeilen, wenn was anliegt. Ein solches Tool ist dann natrürlich sehr hilfreich.
Ist ein gutes Tool was Google da bietet. Man geht jedenfalls sicher, dass die Datei auch konform ist. Da der Googlebot bei mir nur monatlich vorbeikommt ists schon eine Hilfe..
Grundsätzlich eine gute Sache, doch nciht optimal. Wie erwähnt wären die Beschreibungen zu den einzelnen Googlebots interessant. Auch versteht googlebot etwas mehr als andere zb. *. Achtung!: “User-agent: *” mit seinen Einträgen, sollte erst ganz am Ende nach den bestimmten bots Anweisungen stehen.
danke für den Tipp. Wir arbeiten im Moment an einer Relaunch unseres Projektes da hilft uns das Toll doch erheblich. Zumal es das erste mal ist das wir uns auf Grund der zwischenzeitlichen Größe unseres Projktes überhaut mit dem Thema “robot txt” beschäftigen. Viele Grüße Thomas!
Danke für die übersichtliche Erläuterung! Eigentlich sollte man mind. sowas von goolge selbst erwarten.
Ich persönlich zweifel etwas an dem Sinn der robots.txt, da man diese ja eigentlich nur braucht um einem robot bestimmte Bereiche zu verbieten. Aber wenn sich die bösen bots sowieso nicht dran halten. Wofür dann also das?
Danke für die Antwort auf meine Frage an Google.Habe nämlich eine neue Webseite http://www.linkprotector.de die keinen robot txt im Quellcode enthält.Die Googlesuche verwies mich auf Deine Seite.
Gruß aus NRW
Ron
Na ja. Dann lieber doch per Hand schreiben. Geht schneller und gründlicher .
Hallo Malte,
gibt es auch die Möglichkeit php Links mit Paramater zu sperren? Ich meine etwas in der Richtung xx.php?paramter=xxx ? Für meine Suchmaschine (Business Suchmaschine ) möchte ich ein paar Url’s sperren die wegen der Session sowieso ins Nirwana führen. Das möchte ich dann mit die robots.txt machen. Ist das ein gültiger Eintrag: dissalow:/verzeichnis/xx.php?*
Grüße aus Böblingen
Super, ich werds demnächst mal ausprobieren.. Der Generator hilft sicher bei der Erstellung meiner Robots.txt