Cloudflare a anunțat o schimbare de politică ce poate modifica modul în care companiile de inteligență artificială accesează conținutul publicat pe web. Începând cu 15 septembrie 2026, setările implicite ale companiei vor bloca crawlerele „mixed-use” pe paginile care găzduiesc reclame, dacă proprietarul site-ului nu modifică manual opțiunile.
Măsura vizează separarea clară a crawlerelor folosite pentru căutare tradițională de cele utilizate pentru agenți AI și pentru antrenarea modelelor. Potrivit Cloudflare, schimbarea se va aplica noilor clienți, site-urilor noi create de clienții existenți și tuturor clienților gratuiti existenți.
Ce se schimbă pentru publisheri și companiile AI
Decizia Cloudflare poate influența felul în care furnizorii de modele AI obțin acces la conținut web pentru antrenare și pentru serviciile lor de tip agentic. Compania spune că mulți proprietari de site-uri vor ca materialele lor să rămână descoperibile în căutare și, în unele cazuri, în servicii AI, dar nu vor ca proprietatea lor intelectuală să fie folosită gratuit.
În acest context, Cloudflare a prezentat și o evoluție a instrumentelor sale comerciale pentru publisheri. Marketplace-ul lansat anterior pentru a permite site-urilor să taxeze boturile AI la scraping, cunoscut ca Pay Per Crawl, va evolua în Pay Per Use. Noua formulă ar urma să permită publisherilor să fie plătiți atunci când conținutul lor creează valoare, nu doar atunci când este preluat.
Presiune pe crawlerele „mixed-use”
Cloudflare susține că crawlerele care combină căutarea, utilizarea de agenți și antrenarea modelelor ar trebui separate mai clar. În opinia companiei, noile setări implicite ar trebui să încurajeze furnizorii de astfel de crawlere să distingă între accesul pentru search, agent use și training.
Matthew Prince, cofondator și director general Cloudflare, a spus că „acum că majoritatea traficului de pe internet este non-uman, trebuie să mergem mai departe și să acționăm mai repede pentru ca un ecosistem sustenabil să poată apărea”. El a legat anunțul de momentul în care traficul generat de boți l-a depășit pentru prima dată pe cel uman online, un prag pe care compania spune că nu era așteptat decât anul viitor.
Impactul asupra accesului la date și a costurilor
Cloudflare afirmă că schimbarea ar putea ajuta și la conservarea lățimii de bandă și a resurselor de calcul ale publisherilor, dar și ale furnizorilor de modele AI. Compania spune că datele sale indică faptul că peste 50% din traficul de crawl provenit de la boții AI este consumat prin re-fectarea unor pagini neschimbate.
În practică, asta înseamnă că o parte importantă din activitatea de crawling ar putea fi considerată ineficientă și costisitoare, mai ales pentru site-urile care publică frecvent conținut și pentru companiile AI care au nevoie de volume mari de date actualizate.
Primele parteneriate: Ceramic.ai și You.com
Pentru implementarea noilor modele de plată, Cloudflare lucrează inițial cu doi parteneri: Ceramic.ai și You.com. Potrivit companiei, atunci când un publisher se înscrie în program, acesta poate fi plătit atunci când conținutul său apare în rezultatele de căutare AI ale Ceramic sau când You.com accesează o parte din conținutul premium al publisherului.
Cloudflare spune că alte companii AI pot adapta acest model în funcție de modul în care funcționează propriile servicii. Rămâne de văzut câți operatori de crawlere vor accepta să își separe mai strict accesul la web și câți publisheri vor activa noile opțiuni comerciale.
Schimbarea marchează o nouă etapă în disputa dintre publisheri și industria AI privind folosirea conținutului online. Pentru site-urile care depind de publicitate și trafic, noua politică Cloudflare poate deveni un instrument de control mai bun asupra accesului la conținut. Pentru companiile AI, ea adaugă presiune pentru transparență, separarea clară a crawlerelor și, în unele cazuri, plata pentru utilizarea materialelor publicate pe web.