Configuration
Qu'est-ce que robots.txt ?
Le fichier robots.txt indique aux robots d'indexation (Google, Bing, mais aussi les crawlers IA comme GPTBot et ClaudeBot) quelles pages de votre site ils peuvent ou ne peuvent pas explorer.
Pourquoi c'est important ?
- Contrôler l'accès des robots à vos pages sensibles
- Optimiser le budget de crawl pour le SEO
- Autoriser ou bloquer les crawlers IA (GEO)