The team behind OnlineTools4Free — building free, private browser tools.
Published Feb 4, 2026 · 6 min read · Reviewed by OnlineTools4Free
Robots.txt Komplettanleitung: Website-Indexierung steuern
Was ist robots.txt?
Die robots.txt-Datei ist eine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Seiten sie besuchen duerfen und welche nicht. Sie ist das Erste, was Google und Bing beim Besuch Ihrer Website pruefen.
Grundsyntax
- User-agent: Identifiziert den betroffenen Robot.
User-agent: *gilt fuer alle. - Disallow: Verbietet das Crawlen eines Pfads.
- Allow: Erlaubt explizit einen Pfad als Ausnahme.
- Sitemap: Gibt den Standort Ihrer XML-Sitemap an.
Gaengige Regeln
- Verzeichnis blockieren:
Disallow: /admin/ - Suchparameter blockieren:
Disallow: /searchverhindert die Indexierung interner Suchergebnisse. - Alles erlauben:
User-agent: *undDisallow:ohne Pfad.
Haeufige Fehler vermeiden
- CSS und JS blockieren: Google braucht Zugriff auf CSS und JavaScript zum korrekten Rendern.
- Als Sicherheitsmechanismus verwenden: Die Datei ist oeffentlich. Verwenden Sie Authentifizierung und meta noindex stattdessen.
- Bilder blockieren: Wenn Sie in Google Images erscheinen moechten, blockieren Sie nicht Ihr Bilderverzeichnis.
robots.txt vs. Meta Noindex
- robots.txt: Verhindert das Crawlen. Der Robot besucht die Seite nicht.
- meta noindex: Der Robot besucht die Seite, indexiert sie aber nicht. Die zuverlaessige Methode.
Robots.txt generieren
Unser Robots.txt-Generator hilft Ihnen, eine korrekt formatierte Datei ohne Syntaxfehler zu erstellen.
Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives.
OnlineTools4Free Team
The OnlineTools4Free Team
We are a small team of developers and designers building free, privacy-first browser tools. Every tool on this platform runs entirely in your browser — your files never leave your device.