Face au pillage des données par les agents IA, le robots.txt classique est dépassé. Cloudflare Bot Preference Sync résout cette faille en injectant des directives d'accès dynamiques directement à l'Edge. Les entreprises peuvent désormais bloquer l'entraînement des modèles tout en restant visibles sur les moteurs conversationnels, protégeant ainsi leur valeur sémantique sans effort technique. Le web de 2026 accueille une part croissante de trafic automatisé, des crawlers d'indexation aux agents pilotés par les utilisateurs. Dans ce contexte, robots.txt reste utile pour publier des consignes, mais il ne constitue pas un mécanisme d'autorisation ou de sécurité : sa conformité dépend du comportement du crawler. Cloudflare souligne en outre qu'un décalage entre les préférences déclarées et les règles effectivement appliquées peut créer de l'ambiguïté et encourager certains crawlers à ignorer les consignes ou à tenter de contourner les protections. Cette annonce de Cloudflare intervient alors que l'infrastructure réseau des agents IA se consolide à une vitesse spectaculaire. Akamai et Fastly proposent eux aussi des fonctions de détection, de classification et de blocage des bots IA à l'Edge. La particularité de Bot Preference Sync est d'ajouter une couche de synchronisation entre la politique de bots déjà configurée dans Cloudflare et le robots.txt publié au site, afin que préférence déclarée et politique appliquée restent plus cohérentes. La centralisation de la gestion des robots devient un enjeu opérationnel pour concilier découvrabilité, usages agentiques et protection des contenus. Plutôt qu'un choix binaire entre ouverture totale et blocage généralisé, la taxonomie Search, Agent et Training permet de définir des politiques différentes selon l'usage du crawler. L'arrivée de Cloudflare Bot Preference Sync illustre une évolution importante de la gouvernance des contenus sur le web. Le robots.txt, issu du Robots Exclusion Protocol proposé en 1994 et formalisé en 2022 par la RFC 9309, n'est plus seulement utilisé pour orienter les crawlers traditionnels : il sert aussi à exprimer des préférences liées aux usages d'IA, tandis que des contrôles réseau peuvent appliquer séparément des règles de blocage. Cette mutation redéfinit le rôle conjoint des équipes techniques et marketing. L'infrastructure ne se contente plus de distribuer des pages à des humains : elle doit aussi distinguer les crawlers de recherche, les agents agissant pour un utilisateur et les systèmes d'entraînement. Pour un éditeur, l'enjeu devient de décider quels usages favoriser, restreindre ou faire respecter selon sa stratégie de visibilité, de propriété intellectuelle et de monétisation. Le signal le plus intéressant n'est donc pas la « fin » du scraping, mais le passage progressif d'une règle unique à des politiques plus granulaires. Bot Preference Sync montre comment un fichier robots.txt peut devenir l'expression lisible d'une politique de bots plus large, sans prétendre remplacer les contrôles de sécurité. Pour les marques, la bonne pratique consiste à traiter robots.txt comme une couche de gouvernance complémentaire, à vérifier avec les politiques réellement appliquées à l'Edge.