BephicCentro de ayuda

¿Cómo lee BephicBot mi robots.txt?

· Equipo de Bephic, Neuraphic Inc.


BephicBot lee tu robots.txt siguiendo el estándar que usan los buscadores (RFC 9309), en lo que hace falta para pedir una sola página.

Qué bloque usa

  1. Busca un bloque cuyo User-agent sea BephicBot (sin importar mayúsculas o minúsculas).
  2. Si lo hay, usa solo ese bloque.
  3. Si no lo hay, usa el bloque general, User-agent: *.
  4. Si no hay ninguno de los dos, puede entrar.

Cómo decide

  • Mira las reglas Allow y Disallow del bloque que usa.
  • Gana la regla más larga que coincide con la página (para BephicBot, /).
  • Si dos reglas empatan en largo, gana Allow.
  • Un Disallow: vacío no prohíbe nada.
  • Entiende * (cualquier cosa) y $ (fin de la dirección).
  • Ignora lo que no son reglas de páginas, como Sitemap o Crawl-delay. Como pide una sola página por visita, no los necesita.

Si tu robots.txt no existe o falla

Lo que pasa al pedir robots.txtQué hace BephicBot
Existe y lo deja entrarPide tu página principal
Existe y no lo deja entrarSe va sin pedir nada más
No existe (tu servidor dice que no está)Entra, como hacen los buscadores
Tu servidor da un error o no contestaNo entra esta vez

Ejemplos

Bloquea a BephicBot:

User-agent: BephicBot
Disallow: /

Bloquea a todos menos a BephicBot:

User-agent: *
Disallow: /

User-agent: BephicBot
Allow: /

Para probar el tuyo, usa la prueba de la página Bephic Bot. Usa las mismas reglas que BephicBot.

¿Te sirvió?

¿Necesitas más ayuda?

Pregúntale a Bephic o escríbele al equipo. Contestamos en un plazo de 7 a 15 días hábiles, normalmente mucho antes.

Contactar a soporte