Um Ihnen Ergebnisse anzuzeigen, unterhält Qwant einen kontinuierlich aktualisierten Index öffentlich zugänglicher Webseiten. So funktioniert das.
Die Crawler
Qwant verwendet Crawler (crawlers), die das Web automatisch durchsuchen. QwantBot – der wichtigste Roboter von Qwant – ist in den Logs Ihres Servers erkennbar.
Der Prozess erfolgt in zwei Schritten:
Durchsuchen
- Der Crawler entdeckt neue Seiten, indem er Links von bereits bekannten Seiten verfolgt oder eine Sitemap-Datei verwendet.
- Er befolgt die Anweisungen der Datei robots.txt jeder Domain.
- Er lädt den HTML-Inhalt der zugänglichen Seiten herunter (HTTP-Code 200, ohne Blockierung durch ein Captcha oder einen 403-Fehler).
Indexierung
- Jede durchsuchte Seite wird anhand von Qualitätskriterien bewertet.
- Seiten, die diese Bewertung bestehen, werden indexiert und können in den Ergebnissen angezeigt werden.
Crawl-Häufigkeit
Wie häufig unsere Crawler eine Website besuchen, hängt von Folgendem ab:
- Der Aktualität der Inhalte: Eine regelmäßig aktualisierte Website wird häufiger besucht.
- Der Beliebtheit der Website: Websites mit vielen eingehenden Links werden bevorzugt.
- Der Leistung des Servers: Wenn Ihre Website langsam ist, passen wir unser Tempo an, um sie nicht zu überlasten.
- Den Anweisungen in Ihrer robots.txt.
Was indexiert wird
Qwant indexiert öffentlich zugängliche HTML-Seiten sowie mehrere Dateiformate: PDF, Office-Dokumente (Word, Excel, PowerPoint, OpenDocument) und Klartext.
Was nicht indexiert wird
- Durch ein Passwort oder ein Authentifizierungssystem geschützte Seiten.
- Durch die robots.txt blockierte Seiten (
Disallow: /für QwantBot). - Inhalte, die eine komplexe clientseitige Darstellung oder eine Benutzerinteraktion erfordern.
- Seiten, die über das Meta-Tag mit noindex gekennzeichnet sind:
<meta name="robots" content="noindex">.
Tipps für Herausgeber
So optimieren Sie die Indexierung Ihrer Website durch Qwant:
- Veröffentlichen Sie eine aktuelle sitemap.xml (Standard-, News- oder Video-Sitemap).
- Halten Sie eine klare robots.txt bereit, die QwantBot nicht verbietet.
- Achten Sie auf die HTML-Struktur Ihrer Seiten.
- Veröffentlichen Sie hochwertige, aktuelle und gut strukturierte Inhalte.