Generador de robots.txt gratuito - Configura reglas SEO
Define si los rastreadores podrán acceder al sitio completo. Las reglas específicas se manejan en las listas Allow/Disallow.
Indica a los bots qué rutas no deben rastrear. Déjalo vacío para permitir todo.
Úsalo para permitir rutas concretas que podrían quedar bloqueadas por reglas generales.
Configura políticas específicas para los buscadores principales: Predeterminado = sigue las reglas globales, Bloquear = impide todo acceso, Permitir = permite todo.
Bot
User-agent
Política
Google Web
Googlebot
Google Image
Googlebot-Image
Google News
Googlebot-News
Bing Web
Bingbot
Bing Preview
BingPreview
Baidu
Baiduspider
Yandex
YandexBot
DuckDuckGo
DuckDuckBot
Sogou
Sogou web spider
360 Search
360Spider
No todos los motores soportan esta directiva, pero ayuda a reducir carga en el servidor.
Incluye una URL completa de sitemap para que los bots encuentren tu contenido.