Analyser un site
Qu'est-ce que cet outil ?
L'AI Crawlability Checker analyse votre fichier robots.txt pour déterminer si les principaux crawlers IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, etc.) sont autorisés à accéder à votre site.
Pourquoi c'est important ?
- Les crawlers IA indexent votre contenu pour les réponses générées par ChatGPT, Claude, Perplexity...
- Bloquer ces crawlers réduit vos chances d'être recommandé par ces IA
- Un bon score de crawlabilité IA est essentiel pour le GEO (Generative Engine Optimization)