QwantBot è il crawler ufficiale di Qwant. Esplora il web per creare e aggiornare l'indice che alimenta il nostro motore di ricerca.
Questa pagina spiega come identificarlo nei log, come verificare che una richiesta provenga realmente da Qwant e come controllarne l'accesso al vostro sito.
Identificare QwantBot nei log
A seconda della versione del bot, lo User-Agent varia leggermente. Un elemento rimane costante e consente di individuarlo: la parola chiave Qwantbot, scritta come un'unica parola.
Il formato generale è il seguente:
Mozilla/5.0 (compatible; Qwantbot{-news}/X.Y_{worker_id}; +https://help.qwant.com/bot/)Gli elementi tra parentesi graffe { } sono facoltativi: -news identifica il bot dedicato a Qwant News, mentre worker_id indica la macchina all'origine della richiesta.
Ecco due esempi di User-Agent con cui possiamo visitare il vostro sito:
Mozilla/5.0 (compatible; Qwantbot/1.0_12345; +https://help.qwant.com/bot/) Mozilla/5.0 (compatible; Qwantbot-news/2.0; +https://help.qwant.com/bot/)
Verificare che una richiesta provenga effettivamente da Qwant
Uno User-Agent è puramente dichiarativo: qualsiasi bot può dichiarare di essere QwantBot. Se avete dubbi su alcune richieste osservate nei vostri log, due metodi consentono di fare chiarezza.
Metodo consigliato — risoluzione DNS inversa
- Eseguite una risoluzione DNS inversa sull'indirizzo IP all'origine della richiesta e verificate che punti a un nome che termini con
qwant.com. - In aggiunta, eseguite una risoluzione DNS diretta su questo nome per confermare che rimandi allo stesso indirizzo IP.
Su Linux, con il comando host:
> host 91.242.162.1 1.162.242.91.in-addr.arpa domain name pointer qwantbot-1-162-242-91.qwant.com. > host qwantbot-1-162-242-91.qwant.com qwantbot-1-162-242-91.qwant.com has address 91.242.162.1
Se il nome ottenuto non termina con qwant.com, la richiesta non proviene dai nostri server.
Metodo alternativo — intervalli di indirizzi IP
Potete anche confrontare l'indirizzo IP della richiesta con l'elenco dei nostri intervalli pubblicati in questo file: qwantbot.json
Controllare QwantBot tramite robots.txt
QwantBot rispetta lo standard di esclusione dei robot descritto su robotstxt.org
Il file robots.txt deve essere posizionato nella radice di ogni sottodominio interessato: un file presente su exemple.com non si applica a blog.exemple.com.
Consentire QwantBot sull'intero sito — questo è il comportamento predefinito se nessuna direttiva lo riguarda:
User-agent: Qwantbot Allow: /
Vietare l'esplorazione di una directory:
User-agent: Qwantbot Disallow: /prive/
Vietare l'esplorazione dell'intero sito:
User-agent: Qwantbot Disallow: /
Distanziare le visite con Crawl-delay
Se QwantBot sollecita troppo spesso il vostro server, la direttiva Crawl-delay imposta un intervallo minimo, in secondi, tra due richieste:
User-agent: Qwantbot Crawl-delay: 8
robots.txt o tag noindex?
I due meccanismi rispondono a esigenze diverse e non sono intercambiabili.
| Meccanismo | Effetto | Da utilizzare per |
|---|---|---|
robots.txt |
La pagina non viene esplorata e quindi non viene scaricata. Non può essere indicizzata. | Risparmiare risorse del server, escludere intere sezioni del sito |
Tag <meta name="robots" content="noindex">
|
La pagina viene scaricata, ma non appare nei risultati di ricerca. | Rimuovere una pagina specifica dai risultati lasciandola comunque accessibile |
Frequenza delle visite
QwantBot adatta la frequenza di passaggio alle dimensioni e alla popolarità del vostro sito. Potete influenzarla in due modi:
- pubblicando un sitemap.xml valido e aggiornato;
- mantenendo buone prestazioni del server, poiché un sito veloce viene esplorato più spesso.
Segnalare un comportamento anomalo
Se qualcosa è andato storto durante il passaggio dei nostri bot sul vostro sito, ce ne dispiace sinceramente.
Segnalateci eventuali problemi via e-mail a qwantbot@qwant.com, specificando:
- il vostro nome di dominio;
- un campione di log contenente le richieste problematiche;
- il periodo interessato.