Générateur de robots.txt - Règles Allow, Disallow et Sitemap
Générateur de robots.txt
Les trois premiers remplacent vos groupes. Le bouton IA ajoute un groupe avec des noms de robots d’IA couramment publiés et garde le reste ; la liste évolue, vérifiez-la de temps en temps.
Importer un robots.txt existant
* désigne tous les robots. Séparez plusieurs noms par des virgules pour leur appliquer les mêmes règles.
Les chemins commencent par / et respectent la casse. * remplace n’importe quels caractères et $ marque la fin de l’URL : /*.pdf$ bloque tous les PDF. Crawl-delay (secondes entre deux requêtes) est ignoré par Google ; certains autres moteurs le respectent.
Aucun problème détecté.
Placez-le sous le nom robots.txt à la racine de l’hôte, par exemple https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Tester une URL
Vérifie le robots.txt ci-dessus comme Google le lit. Un groupe qui nomme exactement le robot l’emporte sur User-agent: *, les groupes de même nom sont fusionnés, et un robot sans groupe propre se rabat sur *, pas sur un nom voisin (Googlebot-Image n’utilise pas un groupe Googlebot). Dans le groupe, la règle correspondante la plus longue décide et Allow l’emporte en cas d’égalité. D’une URL complète, seuls le chemin et la requête comptent.
Le robots.txt est une demande publique, pas un verrou. Tout le monde peut le lire et les robots malveillants l’ignorent : n’y listez jamais de chemins secrets. Il ne retire pas non plus les pages des résultats : une URL bloquée peut quand même être indexée via des liens. Pour écarter une page de la recherche, utilisez une balise noindex en la laissant explorable ; pour la protéger, un mot de passe.
Comment fonctionne le robots.txt
Avant d’explorer un site, les robots respectueux récupèrent /robots.txt et cherchent le groupe qui porte leur nom, à défaut User-agent: *. Dans ce groupe, Disallow liste les chemins à ignorer et Allow y découpe des exceptions. Le fichier contrôle l’exploration, pas l’indexation, et seuls les robots qui acceptent de le suivre le respectent.
Mode d’emploi
- 1 Choisissez un modèle ou modifiez l’exemple : un groupe par robot (ou * pour tous), avec des lignes Disallow et Allow.
- 2 Ajoutez l’adresse du sitemap et lisez les vérifications : un chemin sans barre oblique initiale ou un sitemap sans https:// est signalé aussitôt.
- 3 Copiez le texte ou téléchargez robots.txt, envoyez-le à la racine du site, puis ouvrez votresite/robots.txt pour vérifier qu’il s’affiche.
Quelle règle l’emporte
Les grands moteurs ne lisent pas les règles de haut en bas. Pour chaque URL, ils retiennent la correspondance la plus précise, c’est-à-dire le chemin le plus long ; à longueur égale entre Allow et Disallow, Allow l’emporte. Disallow: /admin/ avec Allow: /admin/help/ laisse donc l’aide explorable quel que soit l’ordre. Un robot ne suit en outre qu’un seul groupe : s’il existe un groupe Googlebot, Googlebot ignore entièrement le groupe *.
Bloquer n’est pas désindexer
Une URL bloquée dans le robots.txt peut quand même apparaître dans les résultats, souvent sous forme de lien nu sans description, parce que d’autres pages pointent vers elle. Pire : si vous ajoutez une balise noindex et bloquez aussi la page, le robot ne la récupère jamais et ne voit jamais la balise. Pour retirer une page, autorisez l’exploration et utilisez noindex ; bloquez-la seulement une fois sortie de l’index.
Erreurs qui bloquent plus que prévu
Les règles sont des préfixes : Disallow: /blog bloque aussi /blog-tips/ et /blogger.html ; écrivez /blog/ pour viser le dossier. Disallow: / seul bloque tout le site, un oubli classique venu d’un serveur de préproduction. Bloquer les dossiers CSS et JavaScript empêche les moteurs d’afficher correctement vos pages. Et la casse compte : /Admin/ ne couvre pas /admin/. Pour savoir comment une URL précise est traitée, saisissez-la dans la zone de test sous le résultat : elle indique le groupe et la règle qui décident.
Robots d’IA et jetons de contrôle
Plusieurs sociétés d’IA publient les noms User-agent qu’elles utilisent pour collecter des données d’entraînement et indiquent le robots.txt comme moyen de s’y opposer. Certains noms ne sont pas des robots distincts mais des jetons de contrôle : Google-Extended et Applebot-Extended ne récupèrent aucune page ; ils indiquent seulement si les contenus déjà collectés par le robot de recherche peuvent servir à entraîner les modèles d’IA (chez Google, aussi à sourcer les réponses de Gemini). Les bloquer ne change rien à votre classement, mais ne retire pas non plus vos pages des fonctions d’IA intégrées à la recherche : les AI Overviews et l’AI Mode de Google passent par Googlebot et se règlent avec nosnippet ou noindex, pas avec Google-Extended. Les noms évoluent : prenez le modèle comme point de départ et consultez la documentation à jour de chaque fournisseur.