En la página Bephic Bot hay una prueba: pegas tu robots.txt y te dice al momento si BephicBot puede entrar. Usa las mismas reglas que el robot de verdad.
Paso a paso
- Abre tu
robots.txten el navegador, por ejemplohttps://tusitio.com/robots.txt, y copia todo su texto. - Abre la página Bephic Bot y baja hasta Prueba tu robots.txt.
- Pega el texto en la caja de esa sección, bajo «Pega tu archivo y mira al instante si BephicBot puede entrar a tu página principal».
- Lee el resultado. Por ejemplo: BephicBot puede entrar a tu sitio. y, debajo, Ninguna regla se lo impide.
La prueba mira la página principal (/), que es la única que pide BephicBot.
Qué te dice
- Si puede entrar a tu sitio o no entrará a tu sitio (BephicBot no entrará a tu sitio.).
- Qué regla lo decide, cuando hay una.
- Si usa el bloque con su nombre o el general (
User-agent: *).
Si el resultado no es el que esperabas
- Revisa si tienes un bloque para BephicBot: cuando existe, solo cuentan sus reglas.
- Revisa que las líneas estén bien escritas (
User-agent:,Allow:,Disallow:). - Recuerda: gana la regla más larga, y en empate gana
Allow.
Mira ¿Cómo lee BephicBot mi robots.txt?.
Lo que la prueba no hace
- No visita tu sitio: solo lee el texto que pegas.
- No guarda lo que pegas.
- No sirve para BephicSEO, que no lee
robots.txt.