Robots.txt Generator von Google

In den Webmaster Tools von Google gibt es jetzt einen Robots.txt Generator.

Die Robots.txt

Mit der Robots.txt kann ein Webmaster kontrollieren, welche Unterseiten seiner Website von Suchmaschinen indiziert werden sollen. Eine robots.txt ist leicht zu erstellen, man benötigt nicht mehr als einen Texteditor. Dennoch greifen viele Webmaster gerne auf Tools zurück, die den Prozess automatisieren. Die bekannteste Alternativ ist der Meta-Tag noindex.

Der Generator

Natürlich sind solche Programme nichts neues aber Google ist die erste große Suchmaschine, die ein solches Tool anbietet. Um es zu starten musst du in den Google Webmaster Tools auf Overview gehen, dann Tools und schließlich Generate robots.txt.

Die Defaulteinstellung ist diese:

User-Agent: *
Allow: /

Damit würde man allen Robots erlauben sich auf sämtlichen Unterseiten auszutoben. Und wenn man das vor hat kann man die Robots.txt eigentlich weglassen.

Das Tool ist in vier Felder geteilt:

Die Felder des Robots.txt Generators von Google.

  1. Action mit den Parametern Allow und Block
  2. Robot mit Google Bot, Google Bot-Mobile, Google Bot-Image, Mediapartners-Google und-Adsbot Google. Zusätzlich kann man auch den Punkt alle Robots auswählen oder eigene Useragents eintragen.
  3. Dann müssen zu jeder Kombination aus Aktion und Robot noch die passenden Verzeichnisse eingetragen werden.
  4. Und mit einem Klick kann man die fertige robots.txt aus dem vierten Feld herauskopieren.

Die Anderen

Google warnt bei der Benutzen vor zwei Punkten:

  • Es gibt Suchmaschinen, die nicht alle Anweisungen verstehen.
  • Es gibt Suchmaschinen, die sich nicht an die Anweisungen halten. Daher sollten private Inhalte zusätzlich zur robots.txt noch mit einem Passwort geschützt werden.

Verbesserungsvorschläge

  1. Erklärungen: Im Gegensatz zum robots.txt Analyse Tool von Google gibt es im Generator keine Erklärung zu den einzelnen Bots. Woher soll jemand, der dieses Tool nutzt den Unterschied zwischen den einzelnen Google Bots kennen?
  2. Eigene User Agents: Ein Webmaster, der auf dieses Tool angewiesen ist kennte vermutlich nicht die User Agents der anderen wichtigen Robots. Hier sollte Google wenigstens die großen Suchmaschinenn wie Live, Yahoo und Ask hinzufügen.
  3. URL beschneiden: Wenn ich statt /test/ die komplette URL, also http://www.lorm.de/test/ eingebe kommt folgende Fehlermeldung:

    Error
    The following path is not valid:

    http://www.lorm.de/test

    Please enter only relative paths for files and directories. For example, type /directory/file.html or /directory/path instead of http://www.example.com/directory/file.html.

    Aha. Warum schneidet Google nicht einfach den ersten Teil der URL ab und trägt den Pfad ein? Usability? Anyone?

Die URLs und Pfade im Robots.txt Tool

Auch wenn das Tool mich (genau wie alle anderen robots.txt Generatoren) nicht überzeugt finde ich es gut, dass Google so etwas anbietet. Denn so werden viele Webmaster an das Thema herangeführt, die noch nie etwas von einer robots.txt gehört haben oder sich bisher nicht die Mühe machen wollten eine anzulegen.

13 thoughts on “Robots.txt Generator von Google

  1. Hallo,
    ich suche eine Lösung für ein großes Problem. Wenn ich meine Homepage google, kommen da auch andere Seiten, die ich entfernen möchte oder wenigstens meinen Namen.Ist das mit robots- Dateien möglich oder geht das nur bei der eigenen Seite. Kennst du vielleicht eine Möglichkeit die es gibt?
    Vielen Dank

  2. Hallo Malte,

    gibt es auch die Möglichkeit php Links mit Paramater zu sperren? Ich meine etwas in der Richtung xx.php?paramter=xxx ? Für meine Suchmaschine (Business Suchmaschine ) möchte ich ein paar Url’s sperren die wegen der Session sowieso ins Nirwana führen. Das möchte ich dann mit die robots.txt machen. Ist das ein gültiger Eintrag: dissalow:/verzeichnis/xx.php?*

    Grüße aus Böblingen

  3. Danke für die übersichtliche Erläuterung! Eigentlich sollte man mind. sowas von goolge selbst erwarten.
    Ich persönlich zweifel etwas an dem Sinn der robots.txt, da man diese ja eigentlich nur braucht um einem robot bestimmte Bereiche zu verbieten. Aber wenn sich die bösen bots sowieso nicht dran halten. Wofür dann also das?

  4. danke für den Tipp. Wir arbeiten im Moment an einer Relaunch unseres Projektes da hilft uns das Toll doch erheblich. Zumal es das erste mal ist das wir uns auf Grund der zwischenzeitlichen Größe unseres Projktes überhaut mit dem Thema “robot txt” beschäftigen. Viele Grüße Thomas!

  5. Grundsätzlich eine gute Sache, doch nciht optimal. Wie erwähnt wären die Beschreibungen zu den einzelnen Googlebots interessant. Auch versteht googlebot etwas mehr als andere zb. *. Achtung!: “User-agent: *” mit seinen Einträgen, sollte erst ganz am Ende nach den bestimmten bots Anweisungen stehen.

  6. Ist ein gutes Tool was Google da bietet. Man geht jedenfalls sicher, dass die Datei auch konform ist. Da der Googlebot bei mir nur monatlich vorbeikommt ists schon eine Hilfe..

  7. Guter Tipp. Danke! Ähnlich Peter suche ich immer nach den passenden Zeilen, wenn was anliegt. Ein solches Tool ist dann natrürlich sehr hilfreich.

  8. Vielen Dank für den Tipp. Bisher habe ich die robots.txt für meine Webprojekte mit dem Texteditor erstellt. Bei den einzelnen Eigenschaften der robots-datei habe ich dann immer gegoogelt. Das kann man sich ja mit diesem Generator ersparen :)

    Gruß Peter

  9. Pingback: Constantins Wochenrückblick 12/08: April, April « Wochenrückblicke

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Du kannst folgende HTML-Tags benutzen: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>