Para ofrecerle resultados, Qwant mantiene un índice que se actualiza continuamente de las páginas web públicas. Así es como funciona.
Los robots de exploración
Qwant utiliza robots de exploración (crawlers) que recorren automáticamente la web. QwantBot —el robot principal de Qwant— puede identificarse en los registros de su servidor.
El proceso se desarrolla en dos etapas:
Exploración
- El robot descubre nuevas páginas siguiendo enlaces desde páginas ya conocidas o mediante un archivo sitemap.
- Respeta las directivas del archivo robots.txt de cada dominio.
- Descarga el contenido HTML de las páginas accesibles (código HTTP 200, sin bloqueo por captcha ni error 403).
Indexación
- Cada página explorada se evalúa según criterios de calidad.
- Las páginas que superan esta evaluación se indexan y pasan a ser candidatas a aparecer en los resultados.
Frecuencia de rastreo
La frecuencia con la que nuestros robots visitan un sitio depende de:
- La frescura del contenido: un sitio que se actualiza periódicamente se visita con más frecuencia.
- La popularidad del sitio: los sitios con muchos enlaces entrantes tienen prioridad.
- El rendimiento del servidor: si su sitio es lento, adaptamos nuestro ritmo para no sobrecargarlo.
- Las directivas de su robots.txt.
Qué se indexa
Qwant indexa las páginas HTML de acceso público, así como varios formatos de archivo: PDF, documentos ofimáticos (Word, Excel, PowerPoint, OpenDocument) y texto sin formato.
Qué no se indexa
- Páginas protegidas por una contraseña o un sistema de autenticación.
- Páginas bloqueadas por el robots.txt (
Disallow: /para QwantBot). - Contenido que requiere una representación compleja del lado del cliente o una interacción del usuario.
- Páginas marcadas como noindex mediante la etiqueta meta:
<meta name="robots" content="noindex">.
Consejos para editores
Para optimizar la indexación de su sitio por parte de Qwant:
- Publique un archivo sitemap.xml actualizado (estándar, de noticias o de vídeo).
- Mantenga un robots.txt claro que no prohíba el acceso a QwantBot.
- Cuide la estructura HTML de sus páginas.
- Publique contenido de calidad, actualizado y bien estructurado.