1 Accroche
Comment dire aux robots quelles zones de ton site explorer
Imagine que Google arrive sur ton site. Il commence à explorer tes pages. Mais ton site contient peut-être des centaines ou des milliers d'URL.
Est-ce qu'il doit tout parcourir ? Certaines zones sont-elles inutiles à explorer ? Peux-tu lui donner des consignes ? C'est notamment le rôle du robots.txt.
Ce petit fichier texte permet de communiquer des règles d'exploration aux robots. Mais attention : il ne fait pas tout. Et surtout, il ne doit pas être confondu avec un système de sécurité ou un moyen garanti de supprimer une page des résultats.
3 Le concept expliqué simplement
Qu'est-ce qu'un robots.txt ?
Le robots.txt est un fichier texte généralement placé à la racine du site. Il est accessible à une adresse comme :
🔗 url.txt
https://www.exemple.fr/robots.txt
Il contient des règles destinées aux robots qui explorent le site. Par exemple :
📄 robots.txt
User-agent: *
Disallow: /admin/
Ici, la règle indique que tous les robots concernés par * ne doivent pas explorer le chemin /admin/.
Qu'est-ce qu'un robot ?
Un robot, ou crawler, est un programme qui parcourt le Web. Google utilise notamment Googlebot. Il découvre des URL, suit des liens et explore des contenus.
💡 Analogie — Le visiteur dans un immeuble — Imagine ton site comme un immeuble. Le robot est un visiteur. Le robots.txt lui donne certaines consignes : « Tu peux explorer ces zones, mais évite celles-ci. »
Explorer et indexer sont deux choses différentes
C'est essentiel. Explorer, c'est visiter une URL. Indexer, c'est enregistrer une page dans l'index du moteur de recherche afin qu'elle puisse éventuellement être proposée dans les résultats.
Le robots.txt sert principalement à gérer l'exploration. Il ne faut donc pas l'utiliser comme si c'était un bouton : « Ne mets jamais cette page dans Google. »
Une URL bloquée par robots.txt peut notamment rester connue du moteur si d'autres pages font des liens vers elle.
User-agent
Cette directive permet d'indiquer à quel robot s'appliquent les règles. Par exemple :
📄 robots.txt
User-agent: *
Le * signifie que la règle concerne tous les robots. Tu peux également cibler un robot spécifique :
📄 robots.txt
User-agent: Googlebot
Disallow
Cette directive permet d'indiquer un chemin que le robot ne doit pas explorer. Par exemple :
📄 robots.txt
User-agent: *
Disallow: /admin/
Allow
Allow permet, dans certaines configurations, de réautoriser un chemin malgré une règle plus générale. Par exemple :
📄 robots.txt
User-agent: *
Disallow: /images/
Allow: /images/logo.png
Le principe est simple : Disallow indique ce que tu souhaites bloquer à l'exploration et Allow peut permettre une exception.
Le robots.txt n'est pas une protection
C'est extrêmement important. Si tu écris :
📄 robots.txt
Disallow: /espace-prive/
tu n'as pas sécurisé cette zone. Le fichier robots.txt est public. Il ne doit jamais servir à protéger des données confidentielles. Pour protéger une zone privée, il faut utiliser un véritable système d'authentification et de contrôle d'accès.
Une erreur peut bloquer ton site
Imagine cette règle :
📄 robots.txt
User-agent: *
Disallow: /
Elle demande aux robots concernés de ne pas explorer l'ensemble du site. Une erreur de ce type peut donc avoir des conséquences importantes.
Les pièges à éviter :
- ✗ Utiliser robots.txt comme un système de sécurité
- ✗ Croire qu'un Disallow garantit la non-indexation d'une URL
- ✗ Bloquer accidentellement l'ensemble du site
- ✗ Copier un fichier robots.txt sans comprendre ses règles
- ✗ Modifier une règle importante sans la tester
- ✗ Confondre exploration et indexation
4 Exemple concret
Imaginons un site e-commerce contenant :
🌳 arborescence.txt
/
├── produits/
├── categories/
├── blog/
├── panier/
├── compte/
└── recherche/
Le propriétaire peut vouloir empêcher l'exploration de certaines zones fonctionnelles. Il pourrait avoir :
📄 robots.txt
User-agent: *
Disallow: /panier/
Disallow: /compte/
Les produits, catégories et articles restent alors concernés par l'exploration normale. Attention : les URL /panier/ et /compte/ ne deviennent pas secrètes pour autant.
La Boussole SEO