QwantBot es el robot de indexación oficial de Qwant. Recorre la web para crear y actualizar el índice que alimenta nuestro motor de búsqueda.
Esta página explica cómo identificarlo en sus registros, cómo comprobar que una solicitud proviene realmente de Qwant y cómo controlar su acceso a su sitio.
Identificar QwantBot en sus registros
Según la versión del robot, el User-Agent varía ligeramente. Hay un elemento que permanece constante y permite identificarlo: la palabra clave Qwantbot, en una sola palabra.
El formato general es el siguiente:
Mozilla/5.0 (compatible; Qwantbot{-news}/X.Y_{worker_id}; +https://help.qwant.com/bot/)Los elementos entre llaves { } son opcionales: -news identifica el robot dedicado a Qwant News, y worker_id designa la máquina desde la que se origina la solicitud.
Estos son dos ejemplos de User-Agents con los que podemos visitar su sitio:
Mozilla/5.0 (compatible; Qwantbot/1.0_12345; +https://help.qwant.com/bot/) Mozilla/5.0 (compatible; Qwantbot-news/2.0; +https://help.qwant.com/bot/)
Comprobar que una solicitud proviene realmente de Qwant
Un User-Agent es puramente declarativo: cualquier robot puede afirmar ser QwantBot. Si tiene dudas sobre solicitudes observadas en sus registros, hay dos métodos que permiten determinarlo.
Método recomendado: resolución DNS inversa
- Realice una resolución DNS inversa en la dirección IP desde la que se origina la solicitud y compruebe que apunta a un nombre que termina en
qwant.com. - Como complemento, realice una resolución DNS directa en ese nombre para confirmar que devuelve la misma dirección IP.
En Linux, con el comando host:
> host 91.242.162.1 1.162.242.91.in-addr.arpa domain name pointer qwantbot-1-162-242-91.qwant.com. > host qwantbot-1-162-242-91.qwant.com qwantbot-1-162-242-91.qwant.com has address 91.242.162.1
Si el nombre obtenido no termina en qwant.com, la solicitud no proviene de nuestros servidores.
Método alternativo: rangos de direcciones IP
También puede comparar la dirección IP de la solicitud con la lista de nuestros rangos publicada en este archivo: qwantbot.json
Controlar QwantBot mediante robots.txt
QwantBot respeta el estándar de exclusión de robots descrito en robotstxt.org
El archivo robots.txt se coloca en la raíz de cada subdominio correspondiente: un archivo presente en exemple.com no se aplica a blog.exemple.com.
Permitir QwantBot en todo el sitio: este es el comportamiento predeterminado si ninguna directiva lo afecta:
User-agent: Qwantbot Allow: /
Impedir el rastreo de un directorio:
User-agent: Qwantbot Disallow: /prive/
Impedir el rastreo de todo el sitio:
User-agent: Qwantbot Disallow: /
Espaciar las visitas con Crawl-delay
Si QwantBot realiza solicitudes a su servidor con demasiada frecuencia, la directiva Crawl-delay establece un intervalo mínimo, en segundos, entre dos solicitudes:
User-agent: Qwantbot Crawl-delay: 8
¿robots.txt o etiqueta noindex?
Ambos mecanismos responden a necesidades diferentes y no son intercambiables.
| Mecanismo | Efecto | Usar para |
|---|---|---|
robots.txt |
La página no se rastrea y, por tanto, no se descarga. No puede indexarse. | Ahorrar recursos de su servidor, excluir secciones enteras del sitio |
Etiqueta <meta name="robots" content="noindex">
|
La página se descarga, pero no aparece en los resultados de búsqueda. | Retirar una página concreta de los resultados mientras se mantiene accesible |
Frecuencia de visita
QwantBot adapta su frecuencia de visita al tamaño y a la popularidad de su sitio. Puede influir en ella de dos maneras:
- publicando un sitemap.xml válido y actualizado;
- manteniendo un buen rendimiento del servidor, ya que un sitio rápido se rastrea con más frecuencia.
Notificar un comportamiento anómalo
Si algo salió mal durante la visita de nuestros robots a su sitio, lo lamentamos sinceramente.
Notifíquenos cualquier problema por correo electrónico a qwantbot@qwant.com, especificando:
- su nombre de dominio;
- una muestra de registros que contenga las solicitudes problemáticas;
- el período correspondiente.