Pour vous renvoyer des résultats, Qwant maintient un index continuellement mis à jour des pages web publiques. Voici comment cela fonctionne.
Les robots d'exploration
Qwant utilise des robots d'exploration (crawlers) qui parcourent automatiquement le web. QwantBot — le robot principal de Qwant — est identifiable dans les logs de votre serveur.
Le processus se déroule en deux étapes :
Exploration
- Le robot découvre de nouvelles pages en suivant les liens depuis des pages déjà connues, ou via un fichier sitemap.
- Il respecte les directives du fichier robots.txt de chaque domaine.
- Il télécharge le contenu HTML des pages accessibles (code HTTP 200, sans blocage par captcha ou erreur 403).
Indexation
- Chaque page explorée est évaluée selon des critères de qualité.
- Les pages qui passent cette évaluation sont indexées et deviennent candidates à l'affichage dans les résultats.
Fréquence de crawl
La fréquence à laquelle nos robots visitent un site dépend de :
- La fraîcheur du contenu : un site régulièrement mis à jour est visité plus souvent.
- La popularité du site : les sites avec beaucoup de liens entrants sont prioritaires.
- La performance du serveur : si votre site est lent, nous adaptons notre rythme pour ne pas le surcharger.
- Les directives dans votre robots.txt.
Ce qui est indexé
Qwant indexe les pages HTML publiquement accessibles, ainsi que plusieurs formats de fichiers : PDF, documents bureautiques (Word, Excel, PowerPoint, OpenDocument), texte brut.
Ce qui n'est pas indexé
- Pages protégées par un mot de passe ou un système d'authentification.
- Pages bloquées par le robots.txt (
Disallow: /pour QwantBot). - Contenus nécessitant un rendu client-side complexe ou une interaction utilisateur.
- Pages marquées noindex via la balise meta :
<meta name="robots" content="noindex">.
Conseils pour les éditeurs
Pour optimiser l'indexation de votre site par Qwant :
- Publiez un fichier sitemap.xml à jour (standard, news ou vidéo).
- Maintenez un robots.txt clair qui n'interdit pas QwantBot.
- Soignez la structure HTML de vos pages.
- Publiez des contenus de qualité, à jour et bien structurés.