Outil gratuit — sans inscription
Générateur de robots.txt
Cochez vos options — CMS, dossiers à protéger, robots IA, sitemaps — et obtenez un fichier robots.txt propre, commenté et prêt à déposer à la racine de votre site.
Votre fichier robots.txt
Déposez ce fichier à la racine de votre site (https://votresite.fr/robots.txt), puis testez-le dans Google Search Console.
Comment utiliser ce générateur de robots.txt
Commencez par sélectionner votre plateforme : le générateur applique automatiquement les préréglages adaptés — /wp-admin/ avec l'exception indispensable admin-ajax.php pour WordPress, les dossiers techniques et le tunnel de commande pour PrestaShop, /administrator/ pour Joomla. Cochez ensuite les règles souhaitées : blocage de la recherche interne (source classique de contenu dupliqué), du panier pour les boutiques en ligne, et éventuellement des robots d'entraînement IA. Ajoutez vos dossiers privés spécifiques, un par ligne et commençant par une barre oblique, puis l'adresse complète de vos sitemaps XML. Cliquez sur « Générer » : le fichier produit est commenté ligne par ligne, copiable en un clic ou téléchargeable directement sous le nom robots.txt, prêt à être déposé à la racine de votre hébergement.
Bonnes pratiques du fichier robots.txt
Un bon robots.txt est court et lisible : chaque ligne doit avoir une raison d'être. Ne bloquez jamais les fichiers CSS et JavaScript — Google doit pouvoir afficher vos pages comme un visiteur pour évaluer leur compatibilité mobile. Déclarez systématiquement vos sitemaps en fin de fichier : c'est le moyen le plus fiable de faire découvrir vos nouvelles pages. Après chaque modification, validez le fichier dans Google Search Console (rapport « robots.txt ») et surveillez les statistiques d'exploration pendant deux semaines. Enfin, souvenez-vous que le robots.txt est public : n'importe qui peut le consulter, n'y révélez donc jamais l'emplacement de dossiers sensibles que vous voudriez garder secrets — protégez-les plutôt par mot de passe côté serveur.
Les erreurs qui coûtent cher
La plus destructrice tient en une ligne : Disallow: / appliqué à tous les robots, souvent un reliquat de site en préproduction, qui interdit l'exploration de tout le site et fait fondre le trafic en quelques semaines. Deuxième erreur classique : utiliser Disallow pour « désindexer » une page déjà présente dans Google — bloquée au crawl, la page ne peut plus transmettre sa balise noindex et reste indexée indéfiniment. Troisième piège : les fautes de syntaxe, comme un chemin sans barre oblique initiale ou des règles contradictoires entre groupes User-agent, qui rendent le comportement imprévisible d'un moteur à l'autre. Après la mise en place de votre fichier, contrôlez l'ensemble de vos fondamentaux avec notre analyseur SEO on-page, et travaillez vos balises avec le générateur de meta descriptions.
Questions fréquentes
Où placer le fichier robots.txt sur mon site ?
Obligatoirement à la racine du domaine, accessible à l'adresse https://votresite.fr/robots.txt. Un fichier placé dans un sous-dossier est ignoré par tous les moteurs. Déposez-le par FTP ou via le gestionnaire de fichiers de votre hébergeur, puis vérifiez qu'il s'affiche bien dans votre navigateur à cette adresse exacte.
Un Disallow suffit-il à désindexer une page de Google ?
Non, c'est l'erreur la plus répandue. Disallow interdit l'exploration (le crawl), pas l'indexation : une page bloquée mais liée depuis d'autres sites peut rester dans Google avec la mention « Aucune information n'est disponible ». Pour désindexer, utilisez une balise meta robots noindex sur la page, en laissant Google la crawler pour qu'il voie l'instruction.
Faut-il bloquer les robots d'intelligence artificielle comme GPTBot ?
C'est un choix stratégique. Bloquer GPTBot, ClaudeBot ou CCBot empêche l'utilisation de vos contenus pour l'entraînement des modèles, mais peut aussi vous priver de citations dans les réponses des assistants IA, une source de visibilité croissante en 2026. Pour une PME locale qui cherche des clients, nous recommandons généralement de laisser les assistants IA accéder au site.
Le fichier robots.txt améliore-t-il directement mon référencement ?
Indirectement, oui. Il n'apporte pas de « points SEO » en soi, mais il optimise le budget de crawl : en écartant les pages sans valeur (panier, recherche interne, administration), vous concentrez le passage de Googlebot sur vos pages stratégiques. Et la ligne Sitemap aide les moteurs à découvrir toutes vos URL importantes plus vite.