The team behind OnlineTools4Free — building free, private browser tools.
Published Feb 4, 2026 · 6 min read · Reviewed by OnlineTools4Free
Guia Completo do Robots.txt: Controlar a Indexacao do Site
O Que e o Robots.txt?
Ficheiro de texto na raiz do site que indica aos crawlers que paginas podem ou nao visitar.
Sintaxe Basica
User-agent, Disallow, Allow, Sitemap.
Regras Comuns
Bloquear diretorio, bloquear ficheiro, bloquear parametros de pesquisa, permitir tudo.
Erros Comuns
Bloquear CSS/JS, usar como seguranca, bloquear imagens, nao testar.
Robots.txt vs Meta Noindex
robots.txt impede o crawl. meta noindex impede a indexacao. Para remover paginas dos resultados, use noindex.
Gerar Robots.txt
O nosso gerador de robots.txt cria ficheiros corretos sem erros de sintaxe.
Robots.txt Generator
Create robots.txt files with user-agent rules, sitemaps, and crawl directives.
OnlineTools4Free Team
The OnlineTools4Free Team
We are a small team of developers and designers building free, privacy-first browser tools. Every tool on this platform runs entirely in your browser — your files never leave your device.