Actualité · Droit et économie de la presse · 29 octobre 2026Robots d'IA : ce que Cloudflare a finalement changé le 15 septembre

Le 15 septembre, Cloudflare n'a pas appliqué ce blocage tel qu'il l'avait annoncé. Il a créé un réglage, « Refuser l'entraînement des IA », et une catégorie de robots dits « Responsables ». Avec ce réglage, Cloudflare publie dans le fichier robots.txt du site le refus de l'entraînement propre à chaque opérateur, laisse passer pour la recherche les robots mixtes classés « Responsables » et bloque tous les autres robots d'entraînement, dont ceux qu'Amazon, Anthropic, Meta et OpenAI réservent à cet usage.

Pour être classé « Responsable », un opérateur doit offrir, ou s'engager à offrir dans un délai donné, quatre garanties : un moyen de refuser l'entraînement par robots.txt ou un standard équivalent ; un moyen de refuser les résumés générés par l'IA ; une visibilité page par page sur les contenus mis à disposition pour l'entraînement et sur leur présence dans la recherche ; l'assurance que ce refus n'affecte pas les résultats de la recherche classique.

Les sites existants ne changent pas de régime. À la question de ce qu'il faut faire, Cloudflare répond : « Rien, dans presque tous les cas. » Les réglages en place sont convertis vers les nouvelles options ; un ancien blocage de l'entraînement devient ainsi « Refuser l'entraînement des IA ». L'extension automatique aux clients de l'offre gratuite, annoncée en juillet, n'apparaît plus dans ce billet. Pour les nouveaux domaines, Cloudflare propose à l'inscription deux configurations recommandées, selon que le site tire ou non des revenus de la publicité, et chaque réglage peut être modifié à tout moment.

Un point appelle la vigilance. Depuis le 15 septembre, les options « Bloquer » et « Bloquer sur les pages contenant des publicités » s'appliquent aussi aux robots mixtes : choisir « Bloquer » pour l'entraînement arrête Googlebot, Bingbot et Applebot, recherche comprise. Pour refuser l'entraînement sans sortir de ces moteurs, c'est « Refuser l'entraînement des IA » qu'il faut sélectionner. D'après Cloudflare, moins de 1 % des sites de son réseau bloquent les robots de recherche, et 17 % ont activé un moyen de bloquer l'entraînement.

Sources : Cloudflare, « Bénéficiez du meilleur des deux mondes », 15 septembre 2026 ; Cloudflare, « Internet a un second public », 30 septembre 2026.

Pay Per Crawl, lancé le 1er juillet 2025 en bêta privée, permet à un site de faire payer l'accès à ses pages : le robot présente une intention de paiement, ou reçoit une réponse HTTP 402 (« paiement requis ») accompagnée du prix. En février 2026, Stack Overflow a présenté un modèle de ce type, lancé avec Cloudflare : la catégorisation des robots et des règles de pare-feu de Cloudflare servent à renvoyer une réponse 402 à certains robots, en complément de ses licences de données classiques.

Le 1er juillet 2026, Cloudflare a annoncé faire évoluer ce dispositif vers Pay Per Use, qui rémunère l'éditeur quand son contenu est réellement utilisé, et pas seulement récupéré. Son argument : une page peut être explorée une fois puis citée dans des milliers de réponses, ou explorée sans cesse sans jamais servir. Parmi ses premiers partenaires, il citait Ceramic.ai, qui paie l'éditeur volontaire chaque fois que son contenu apparaît dans ses résultats de recherche, et You.com, qui permet à un agent de payer à la demande un contenu premium précis.

Pay Per Use est en bêta depuis le 30 septembre 2026. L'acheteur, une entreprise d'IA, définit l'usage qu'il paie et en fixe le prix ; l'éditeur accepte ou non l'offre dans son tableau de bord ; l'acheteur déclare chaque usage, et Cloudflare le facture puis reverse les sommes à l'éditeur chaque mois. Les conditions de chaque programme précisent ce que l'acheteur peut faire du contenu, y compris d'éventuelles restrictions sur l'entraînement. Deux points comptent pour un éditeur : les usages sont déclarés par l'acheteur lui-même (les conditions imposent une déclaration complète, et Cloudflare vérifie que chaque usage déclaré correspond à un éditeur inscrit) ; et Pay Per Crawl reste proposé, chacun choisissant le modèle qui lui convient. Ce marché automatisé s'ajoute aux accords de licence négociés un par un, plus de 50 depuis 2023 selon Cloudflare, dont nous avons fait le point dans Droit d'auteur et IA : où en est la rémunération des œuvres.

Le même 1er juillet, Cloudflare a lancé un programme de recherche sur des signaux de fraîcheur, pour éviter aux moteurs d'IA de réexplorer des pages inchangées. Selon son communiqué, plus de la moitié du trafic d'exploration des robots liés à l'IA sert à réexplorer des pages qui n'ont pas changé ; son billet de blog applique le même chiffre à l'ensemble des « bons » robots. Un pilote mené avec OpenAI sur environ 1 % de son réseau a permis, selon les deux entreprises le 15 octobre, d'ajouter des centaines de millions de pages à l'index de recherche d'OpenAI.

Sources : Cloudflare, « Introducing pay per crawl », 1er juillet 2025 ; Stack Overflow, 19 février 2026 ; Stack Overflow, 26 février 2026 ; Cloudflare, « Making AI search smarter », 1er juillet 2026 ; Cloudflare, « Pay Per Use », 30 septembre 2026 ; Cloudflare et OpenAI, 15 octobre 2026.

• Cloudflare, « Cloudflare permet à l'Internet agentique de se développer grâce à une philosophie simple : votre contenu, vos règles », communiqué du 1er juillet 2026.
• Cloudflare, « Votre site, vos règles : nouvelles options de gestion du trafic lié à l'IA pour tous les clients », 1er juillet 2026.
• Cloudflare, « Journée de l'indépendance du contenu, un an après : bâtir le modèle économique de l'Internet agentique », 1er juillet 2026.
• Cloudflare, « Making AI search smarter », 1er juillet 2026.
• TechCrunch, Sarah Perez, « Cloudflare's new policy pushes AI companies to pay for publishers' content », 1er juillet 2026.
• Cloudflare, « Bénéficiez du meilleur des deux mondes : préservez votre référencement tout en refusant l'entraînement des IA », 15 septembre 2026.
• Cloudflare, « Pay Per Use: when AI uses your work, you should get paid », 30 septembre 2026.
• Cloudflare, « Internet a un second public », 30 septembre 2026.
• Cloudflare et OpenAI, « Cloudflare and OpenAI: Making AI discovery better for everyone », 15 octobre 2026.
• Cloudflare, « Introducing pay per crawl: Enabling content owners to charge AI crawlers for access », 1er juillet 2025.
• Cloudflare, « Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large; Permission-Based Approach Makes Way for A New Business Model », communiqué du 1er juillet 2025.
• Stack Overflow, « Why Stack Overflow and Cloudflare launched a pay-per-crawl model », 19 février 2026.
• Stack Overflow, « Beyond block or allow: How pay-per-crawl is reshaping public data monetization », 26 février 2026.
• Google, « Robots d'exploration communs de Google » (Google-Extended), mise à jour du 20 octobre 2026.

À lire aussi sur 6medias.com : Droits voisins de la presse : l'Autorité de la concurrence enjoint Meta de négocier, Meta reporte au 20 novembre ses conditions autorisant l'exploration des sites des comptes pro et Aperçus IA : la Search Console mesure votre visibilité, et permet de vous en exclure.

Documents lus le 29 octobre 2026. Les citations de Cloudflare reprennent ses versions françaises quand elles existent ; les autres, en anglais, sont traduites par la rédaction. Cloudflare présente Pay Per Use comme une expérimentation et ses réglages peuvent encore évoluer : cet article décrit leur état à cette date. Une erreur ? Écrivez à contact@6medias.com.