Générateur de robots.txt - Règles Allow, Disallow et Sitemap

Outils / Outils SEO / Générateur de robots.txt

Générateur de robots.txt

Modèle

Les trois premiers remplacent vos groupes. Le bouton IA ajoute un groupe avec des noms de robots d’IA couramment publiés et garde le reste ; la liste évolue, vérifiez-la de temps en temps.

Importer un robots.txt existant

Les chemins commencent par / et respectent la casse. * remplace n’importe quels caractères et $ marque la fin de l’URL : /*.pdf$ bloque tous les PDF. Crawl-delay (secondes entre deux requêtes) est ignoré par Google ; certains autres moteurs le respectent.

Vérifications

Aucun problème détecté.

robots.txt

            

Placez-le sous le nom robots.txt à la racine de l’hôte, par exemple https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.

Tester une URL

    Vérifie le robots.txt ci-dessus comme Google le lit. Un groupe qui nomme exactement le robot l’emporte sur User-agent: *, les groupes de même nom sont fusionnés, et un robot sans groupe propre se rabat sur *, pas sur un nom voisin (Googlebot-Image n’utilise pas un groupe Googlebot). Dans le groupe, la règle correspondante la plus longue décide et Allow l’emporte en cas d’égalité. D’une URL complète, seuls le chemin et la requête comptent.

    Le robots.txt est une demande publique, pas un verrou. Tout le monde peut le lire et les robots malveillants l’ignorent : n’y listez jamais de chemins secrets. Il ne retire pas non plus les pages des résultats : une URL bloquée peut quand même être indexée via des liens. Pour écarter une page de la recherche, utilisez une balise noindex en la laissant explorable ; pour la protéger, un mot de passe.

    Comment fonctionne le robots.txt

    Avant d’explorer un site, les robots respectueux récupèrent /robots.txt et cherchent le groupe qui porte leur nom, à défaut User-agent: *. Dans ce groupe, Disallow liste les chemins à ignorer et Allow y découpe des exceptions. Le fichier contrôle l’exploration, pas l’indexation, et seuls les robots qui acceptent de le suivre le respectent.

    Mode d’emploi

    1. 1 Choisissez un modèle ou modifiez l’exemple : un groupe par robot (ou * pour tous), avec des lignes Disallow et Allow.
    2. 2 Ajoutez l’adresse du sitemap et lisez les vérifications : un chemin sans barre oblique initiale ou un sitemap sans https:// est signalé aussitôt.
    3. 3 Copiez le texte ou téléchargez robots.txt, envoyez-le à la racine du site, puis ouvrez votresite/robots.txt pour vérifier qu’il s’affiche.

    Quelle règle l’emporte

    Les grands moteurs ne lisent pas les règles de haut en bas. Pour chaque URL, ils retiennent la correspondance la plus précise, c’est-à-dire le chemin le plus long ; à longueur égale entre Allow et Disallow, Allow l’emporte. Disallow: /admin/ avec Allow: /admin/help/ laisse donc l’aide explorable quel que soit l’ordre. Un robot ne suit en outre qu’un seul groupe : s’il existe un groupe Googlebot, Googlebot ignore entièrement le groupe *.

    Bloquer n’est pas désindexer

    Une URL bloquée dans le robots.txt peut quand même apparaître dans les résultats, souvent sous forme de lien nu sans description, parce que d’autres pages pointent vers elle. Pire : si vous ajoutez une balise noindex et bloquez aussi la page, le robot ne la récupère jamais et ne voit jamais la balise. Pour retirer une page, autorisez l’exploration et utilisez noindex ; bloquez-la seulement une fois sortie de l’index.

    Générateur de balises meta →

    Erreurs qui bloquent plus que prévu

    Les règles sont des préfixes : Disallow: /blog bloque aussi /blog-tips/ et /blogger.html ; écrivez /blog/ pour viser le dossier. Disallow: / seul bloque tout le site, un oubli classique venu d’un serveur de préproduction. Bloquer les dossiers CSS et JavaScript empêche les moteurs d’afficher correctement vos pages. Et la casse compte : /Admin/ ne couvre pas /admin/. Pour savoir comment une URL précise est traitée, saisissez-la dans la zone de test sous le résultat : elle indique le groupe et la règle qui décident.

    Robots d’IA et jetons de contrôle

    Plusieurs sociétés d’IA publient les noms User-agent qu’elles utilisent pour collecter des données d’entraînement et indiquent le robots.txt comme moyen de s’y opposer. Certains noms ne sont pas des robots distincts mais des jetons de contrôle : Google-Extended et Applebot-Extended ne récupèrent aucune page ; ils indiquent seulement si les contenus déjà collectés par le robot de recherche peuvent servir à entraîner les modèles d’IA (chez Google, aussi à sourcer les réponses de Gemini). Les bloquer ne change rien à votre classement, mais ne retire pas non plus vos pages des fonctions d’IA intégrées à la recherche : les AI Overviews et l’AI Mode de Google passent par Googlebot et se règlent avec nosnippet ou noindex, pas avec Google-Extended. Les noms évoluent : prenez le modèle comme point de départ et consultez la documentation à jour de chaque fournisseur.

    Questions sur le robots.txt

    Non. Il arrête seulement l’exploration. Si d’autres sites pointent vers l’URL, elle peut rester indexée, sans description. Pour la retirer, laissez-la explorer avec une balise meta noindex ou un en-tête X-Robots-Tag, ou supprimez-la, ou placez-la derrière une connexion.
    Nouveau
    Générateur d’UTM Créez des liens de campagne avec UTM en quelques secondes. Conserve paramètres et #ancres existants, encode correctement les valeurs et signale majuscules et espaces.
    Populaire Aujourd'hui
    Vérificateur de densité des mots-clés Analyseur de densité de mots-clés gratuit : collez un texte ou une URL pour voir la fréquence de chaque mot et expression, en pourcentage.

    Autres outils SEO

    Vérificateur de densité des mots-clés Analyseur de densité de mots-clés gratuit : collez un texte ou une URL pour voir la fréquence de chaque mot et expression, en pourcentage.
    Générateur de Slug Transformez n’importe quel titre en slug d’URL propre. Le ü allemand devient ue, le ü turc devient u, le cyrillique est translittéré : à vous de choisir.
    Générateur de balises meta Renseignez un titre, une description, une URL et une image pour générer les balises meta HTML, le balisage Open Graph et Twitter Card, et voyez à quoi la page ressemblera dans les résultats Google, sur Facebook et sur X avant de publier.
    Aperçu SERP Voyez comment votre title et votre meta description s’affichent dans les résultats de recherche, sur ordinateur et mobile. Coupure au pixel, compteurs.
    Générateur d’UTM Créez des liens de campagne avec UTM en quelques secondes. Conserve paramètres et #ancres existants, encode correctement les valeurs et signale majuscules et espaces.

    Autres outils susceptibles de vous plaire

    Word en PDF Convertir Word en PDF gratuitement : déposez un fichier DOC, DOCX, ODT ou RTF et récupérez un PDF bien formaté en quelques secondes.
    PDF en Word Convertir un PDF en Word gratuitement : déposez un PDF et téléchargez un DOCX modifiable en quelques secondes, sans inscription ni filigrane.
    Générateur MD5 Générateur MD5 gratuit : transformez un texte ou un fichier en somme de contrôle MD5 dans le navigateur - idéal pour vérifier l'intégrité.
    Encodeur & Décodeur Base64 Encodeur et décodeur Base64 gratuit : convertissez texte ou fichiers en Base64 et inversement, entièrement dans le navigateur, sans envoi.
    Compteur de mots Compteur de mots gratuit : collez un texte pour compter mots, caractères, phrases et paragraphes, avec le temps de lecture estimé. Rien n'est envoyé.