Der Qwant-Robot (QwantBot) und die Datei robots.txt

QwantBot ist der offizielle Crawler von Qwant. Er durchsucht das Web, um den Index aufzubauen und zu aktualisieren, der unsere Suchmaschine versorgt.

Diese Seite erklärt, wie Sie ihn in Ihren Logs identifizieren, wie Sie überprüfen, ob eine Anfrage tatsächlich von Qwant stammt, und wie Sie seinen Zugriff auf Ihre Website kontrollieren.

QwantBot in Ihren Logs identifizieren

Je nach Version des Roboters variiert der User-Agent geringfügig. Ein Element bleibt jedoch konstant und ermöglicht seine Identifizierung: das Schlüsselwort Qwantbot, in einem Wort.

Das allgemeine Format lautet:

Mozilla/5.0 (compatible; Qwantbot{-news}/X.Y_{worker_id}; +https://help.qwant.com/bot/)

Die Elemente in geschweiften Klammern { } sind optional: -news kennzeichnet den für Qwant News bestimmten Roboter, und worker_id bezeichnet die Maschine, von der die Anfrage ausgeht.

Hier sind zwei Beispiele für User-Agents, mit denen wir Ihre Website besuchen können:

Mozilla/5.0 (compatible; Qwantbot/1.0_12345; +https://help.qwant.com/bot/)
Mozilla/5.0 (compatible; Qwantbot-news/2.0; +https://help.qwant.com/bot/)

Überprüfen, ob eine Anfrage tatsächlich von Qwant stammt

Ein User-Agent ist rein deklarativ: Jeder Roboter kann behaupten, QwantBot zu sein. Wenn Sie Zweifel an Anfragen haben, die Sie in Ihren Logs beobachten, können zwei Methoden Klarheit schaffen.

Empfohlene Methode – umgekehrte DNS-Auflösung

1. Führen Sie für die IP-Adresse, von der die Anfrage ausgeht, eine umgekehrte DNS-Auflösung durch und überprüfen Sie, ob sie auf einen Namen verweist, der auf qwant.com endet.
2. Führen Sie zusätzlich für diesen Namen eine direkte DNS-Auflösung durch, um zu bestätigen, dass er tatsächlich auf dieselbe IP-Adresse verweist.

Unter Linux mit dem Befehl host:

> host 91.242.162.1
1.162.242.91.in-addr.arpa domain name pointer qwantbot-1-162-242-91.qwant.com.

> host qwantbot-1-162-242-91.qwant.com
qwantbot-1-162-242-91.qwant.com has address 91.242.162.1

Wenn der erhaltene Name nicht auf qwant.com endet, stammt die Anfrage nicht von unseren Servern.

Alternative Methode – IP-Adressbereiche

Sie können die IP-Adresse der Anfrage auch mit der Liste unserer in dieser Datei veröffentlichten Bereiche abgleichen: qwantbot.json

QwantBot über robots.txt kontrollieren

QwantBot beachtet den auf robotstxt.org beschriebenen Standard zum Ausschluss von Robotern.

Die Datei robots.txt wird im Stammverzeichnis jeder betroffenen Subdomain abgelegt: Eine Datei auf exemple.com gilt nicht für blog.exemple.com.

QwantBot auf der gesamten Website erlauben – dies ist das Standardverhalten, wenn keine Direktive auf ihn zutrifft:

User-agent: Qwantbot
Allow: /

Das Durchsuchen eines Verzeichnisses verbieten:

User-agent: Qwantbot
Disallow: /prive/

Das Durchsuchen der gesamten Website verbieten:

User-agent: Qwantbot
Disallow: /

Besuche mit Crawl-delay zeitlich auseinanderlegen

Wenn QwantBot Ihren Server zu häufig anfragt, legt die Direktive Crawl-delay eine Mindestwartezeit in Sekunden zwischen zwei Anfragen fest:

User-agent: Qwantbot
Crawl-delay: 8

robots.txt oder noindex-Tag?

Beide Mechanismen erfüllen unterschiedliche Zwecke und sind nicht austauschbar.

Besuchsfrequenz

QwantBot passt seine Besuchsfrequenz an die Größe und Beliebtheit Ihrer Website an. Sie können sie auf zwei Arten beeinflussen:

• indem Sie eine gültige und aktuelle sitemap.xml veröffentlichen;
• indem Sie eine gute Serverleistung gewährleisten, da eine schnelle Website häufiger durchsucht wird.

Ungewöhnliches Verhalten melden

Wenn beim Besuch unserer Roboter auf Ihrer Website etwas schiefgelaufen ist, bedauern wir dies aufrichtig.

Melden Sie uns jedes Problem per E-Mail an qwantbot@qwant.com und geben Sie dabei Folgendes an:

• Ihren Domainnamen;
• einen Auszug aus den Logs mit den problematischen Anfragen;
• den betroffenen Zeitraum.