BephicBot lee tu robots.txt siguiendo el estándar que usan los buscadores (RFC 9309), en lo que hace falta para pedir una sola página.
Qué bloque usa
- Busca un bloque cuyo
User-agentsea BephicBot (sin importar mayúsculas o minúsculas). - Si lo hay, usa solo ese bloque.
- Si no lo hay, usa el bloque general,
User-agent: *. - Si no hay ninguno de los dos, puede entrar.
Cómo decide
- Mira las reglas
AllowyDisallowdel bloque que usa. - Gana la regla más larga que coincide con la página (para BephicBot,
/). - Si dos reglas empatan en largo, gana
Allow. - Un
Disallow:vacío no prohíbe nada. - Entiende
*(cualquier cosa) y$(fin de la dirección). - Ignora lo que no son reglas de páginas, como
SitemapoCrawl-delay. Como pide una sola página por visita, no los necesita.
Si tu robots.txt no existe o falla
Lo que pasa al pedir robots.txt | Qué hace BephicBot |
|---|---|
| Existe y lo deja entrar | Pide tu página principal |
| Existe y no lo deja entrar | Se va sin pedir nada más |
| No existe (tu servidor dice que no está) | Entra, como hacen los buscadores |
| Tu servidor da un error o no contesta | No entra esta vez |
Ejemplos
Bloquea a BephicBot:
User-agent: BephicBot
Disallow: /Bloquea a todos menos a BephicBot:
User-agent: *
Disallow: /
User-agent: BephicBot
Allow: /Para probar el tuyo, usa la prueba de la página Bephic Bot. Usa las mismas reglas que BephicBot.