Per restituire i risultati, Qwant mantiene un indice continuamente aggiornato delle pagine web pubbliche. Ecco come funziona.
I crawler
Qwant utilizza crawler (crawlers) che esplorano automaticamente il web. QwantBot — il crawler principale di Qwant — è identificabile nei log del server.
Il processo si svolge in due fasi:
Esplorazione
- Il crawler scopre nuove pagine seguendo i link dalle pagine già note o tramite un file sitemap.
- Rispetta le direttive del file robots.txt di ogni dominio.
- Scarica il contenuto HTML delle pagine accessibili (codice HTTP 200, senza blocchi causati da captcha o errori 403).
Indicizzazione
- Ogni pagina esplorata viene valutata in base a criteri di qualità.
- Le pagine che superano questa valutazione vengono indicizzate e diventano candidate alla visualizzazione nei risultati.
Frequenza di scansione
La frequenza con cui i nostri crawler visitano un sito dipende da:
- La freschezza dei contenuti: un sito aggiornato regolarmente viene visitato più spesso.
- La popolarità del sito: i siti con molti link in entrata hanno la priorità.
- Le prestazioni del server: se il sito è lento, adattiamo la frequenza per non sovraccaricarlo.
- Le direttive nel file robots.txt.
Cosa viene indicizzato
Qwant indicizza le pagine HTML pubblicamente accessibili, nonché diversi formati di file: PDF, documenti per ufficio (Word, Excel, PowerPoint, OpenDocument) e testo normale.
Cosa non viene indicizzato
- Pagine protette da una password o da un sistema di autenticazione.
- Pagine bloccate da robots.txt (
Disallow: /per QwantBot). - Contenuti che richiedono un rendering lato client complesso o un'interazione dell'utente.
- Pagine contrassegnate come noindex tramite il meta tag:
<meta name="robots" content="noindex">.
Consigli per gli editori
Per ottimizzare l'indicizzazione del sito da parte di Qwant:
- Pubblicate un file sitemap.xml aggiornato (standard, news o video).
- Mantenete un file robots.txt chiaro che non vieti l'accesso a QwantBot.
- Curate la struttura HTML delle vostre pagine.
- Pubblicate contenuti di qualità, aggiornati e ben strutturati.