robots.txt
Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis Ihrer Webseite, aufrufbar über Ihre Adresse mit /robots.txt am Ende. Darin steht, welche Bereiche Suchmaschinen und andere Programme ansehen dürfen und welche nicht. Es ist eine Bitte und keine Sperre: Wer sich nicht daran halten will, kommt trotzdem hinein.
Was das genau bedeutet
In einer Bäckerei hängt an der Tür zur Backstube ein Schild: Kein Zutritt für Kunden. Fast alle halten sich daran, ohne dass jemand danebenstehen muss. Das Schild ist aber kein Schloss. Wer entschlossen ist, geht hindurch, und die Tür merkt es nicht einmal.
Genau so wirkt diese Datei. Google, Bing und die meisten seriösen Programme lesen sie und halten sich daran. Wer Adressen absammelt, um Werbemails zu verschicken, tut es nicht. Wollen Sie einen Bereich wirklich dichtmachen, brauchen Sie ein Passwort, nicht ein Schild.
Am Bäckereischild ist noch etwas zu lernen: Es verhindert nicht, dass Leute von der Backstube wissen. Übertragen heißt das: Eine gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken. Google zeigt dann die nackte Adresse ohne Beschreibung, weil es den Inhalt nicht lesen durfte. Soll eine Seite wirklich aus der Suche verschwinden, braucht sie den Vermerk noindex im Quelltext, und dafür muss sie gelesen werden dürfen.
Warum das für Ihr Unternehmen zählt
Diese Datei ist die kürzeste und zugleich gefährlichste Ihrer Webseite. Ein Schrägstrich zu wenig, und statt eines Ordners ist alles gesperrt. Der häufigste Weg dorthin ist harmlos: Während des Umbaus wird die Testfassung komplett gesperrt, und beim Umzug auf den echten Server wandert diese Sperre mit.
Der zweite Punkt ist Diskretion. Jeder Mensch kann Ihre robots.txt aufrufen, auch Ihre Mitbewerber. Wer dort einen Ordner namens preise-intern sperrt, hat allen verraten, dass es ihn gibt. In diese Datei gehört nichts, was geheim bleiben soll.
Dazu kommt seit einiger Zeit eine neue Entscheidung: Ob Programme von KI-Anbietern Ihre Texte lesen dürfen, wird ebenfalls hier geregelt. Das ist keine technische, sondern eine unternehmerische Frage, und Sie sollten sie bewusst beantworten statt nebenbei.
So gehen Sie vor
- Sehen Sie nach, was bei Ihnen drinsteht. Tippen Sie Ihre Internetadresse in den Browser und hängen Sie /robots.txt an. Sie sehen ein paar Zeilen Text oder eine Fehlermeldung. Beides ist zunächst kein Grund zur Sorge.
- Lesen Sie die zwei Zeilenarten, auf die es ankommt. User-agent nennt den Empfänger, ein Stern steht für alle Programme. Disallow nennt den Bereich, der nicht angesehen werden soll. Allow macht davon wieder eine Ausnahme. Mehr Grundwissen brauchen Sie für den Alltag nicht.
- Suchen Sie die eine gefährliche Zeile. Steht dort Disallow: und dahinter nur ein Schrägstrich, ist Ihre komplette Webseite für Suchmaschinen gesperrt. Finden Sie diese Zeile auf einer Webseite, die gefunden werden soll, hat die Reparatur Vorrang vor allem anderen.
- Lassen Sie Änderungen von jemandem mit Serverzugang machen. Die Datei liegt im Hauptverzeichnis Ihres Webspace. Bei Baukastensystemen gibt es dafür manchmal eine Einstellung, sonst wird sie per Zugang zum Server ausgetauscht. Bitten Sie darum, die alte Fassung vorher zu sichern und jede Änderung mit Datum als Kommentarzeile zu vermerken.
- Entscheiden Sie bewusst über KI-Programme. Sie können einzelne dieser Programme benennen und aussperren oder ausdrücklich zulassen. Was für welchen Betrieb sinnvoll ist, hängt davon ab, ob Sie in KI-Antworten vorkommen wollen. Wir haben die Abwägung im Beitrag zu KI-Crawlern ausführlich aufgeschrieben.
Typische Fehler
Vier Fragen, die wir zu dieser einen kleinen Datei besonders oft hören.
Ich habe gar keine robots.txt. Ist das schlimm?
Nein. Fehlt die Datei, gilt schlicht alles als erlaubt, und für die meisten kleinen Webseiten ist das genau richtig. Eine leere Datei anzulegen, nur damit eine da ist, bringt nichts.
Kann ich damit meinen Verwaltungsbereich schützen?
Nein, im Gegenteil. Ein Eintrag verrät die Adresse, und aufhalten kann er niemanden. Bereiche, die niemanden etwas angehen, gehören hinter ein Passwort. Ob sie zusätzlich in der Datei stehen, spielt dann kaum noch eine Rolle.
Meine Webseite ist plötzlich aus Google verschwunden. Kann das daran liegen?
Ja, nach einem Umbau ist das der häufigste Einzelgrund. Deshalb ist es die erste Datei, in die wir schauen, wenn eine ganze Webseite auf einmal weg ist. Die Prüfung dauert eine Minute und erspart im Zweifel Wochen an Fehlersuche.
Muss meine Sitemap dort eingetragen sein?
Müssen nicht, aber es ist üblich und kostet eine Zeile. Der Eintrag lautet Sitemap: und dahinter die vollständige Adresse Ihrer Sitemap-Datei. Suchmaschinen finden die Liste damit auch dann, wenn sie nie irgendwo eingereicht wurde.
Verwandte Begriffe
Wie wir damit umgehen
Wir fassen diese Datei so selten wie möglich an und dann mit Ansage. Jede Zeile bekommt eine Kommentarzeile darüber, in der Datum und Grund stehen, denn in zwei Jahren weiß sonst niemand mehr, warum ein Ordner gesperrt wurde. Und am Tag nach jedem Umzug auf einen neuen Server rufen wir sie als Erstes auf, weil genau dann die Sperre aus der Testumgebung mitkommt. Diese eine Kontrolle rettet mehr Sichtbarkeit als jede Textüberarbeitung.
Dürfen KI-Dienste Ihre Texte lesen?
Der Beitrag zu KI-Crawlern erklärt, welche Programme unterwegs sind und wie Sie ihnen etwas erlauben oder verbieten. Der Sichtbarkeits-Check sieht sich unter anderem an, ob Ihre Seite technisch erreichbar ist.