Cloudflare kiristää otettaan tekoälyboteista ja ilmoitti muuttavansa oletusasetuksiaan niin, että mainoksia sisältävät verkkosivut estävät jatkossa automaattisesti useiden tekoälyä hyödyntävien verkkorobottien pääsyn sisältöön.
Muutos tulee voimaan 15. syyskuuta 2026, ja sen tavoitteena on antaa verkkosivustojen omistajille enemmän valtaa siihen, miten tekoälypalvelut voivat käyttää niiden sisältöä.
Ongelmana hakukoneiden ja tekoälyn yhteiset botit
Viime vuosina yhä useammat verkkorobotit ovat alkaneet kerätä sivustoilta sisältöä tekoälymallien kouluttamista varten. Samalla ne hoitavat usein myös perinteistä hakukoneindeksointia.
Tämä on asettanut verkkosivujen ylläpitäjät hankalaan tilanteeseen. Jos botti estetään kokonaan, sivusto voi samalla kadota hakukoneiden tuloksista. Jos botti sallitaan, sisältöä voidaan käyttää tekoälymallien kouluttamiseen ilman erillistä korvausta.
Cloudflaren mukaan ongelma koskee erityisesti Googlen Googlebotia, Microsoftin Bingbotia ja Applen Applebotia, jotka hoitavat sekä hakukoneiden indeksointia että osittain tekoälyyn liittyviä tehtäviä.
Hakukoneet saavat edelleen indeksoida
Cloudflaren uusi oletusasetus pyrkii ratkaisemaan ongelman sallimalla hakukoneiden normaalin indeksoinnin, mutta estämällä samalla bottien käytön tekoälymallien kouluttamiseen ja AI-agenttien tarpeisiin.
Käytännössä verkkosivusto voi siis edelleen näkyä hakutuloksissa ilman, että sen sisältöä hyödynnetään automaattisesti tekoälypalveluissa.
Cloudflaren mukaan tämä koskee erityisesti sivuja, joilla näytetään mainoksia ja joiden liiketoiminta perustuu sisällöstä saataviin mainostuloihin.
Muutos koskee uusia asiakkaita
Uudet oletusasetukset otetaan käyttöön automaattisesti kaikille uusille Cloudflare-asiakkaille sekä uusille verkkosivustoille, jotka lisätään palveluun.
Myös maksuttoman version käyttäjät saavat uuden asetuksen käyttöönsä, mikäli he eivät ole aiemmin muuttaneet bottien hallintaan liittyviä asetuksia.
Halutessaan sivuston omistaja voi edelleen sallia tekoälybottien pääsyn muuttamalla asetuksia itse.
Cloudflare haluaa maksun sisällön käytöstä
Cloudflare jatkaa samalla myös aiemmin esittelemänsä Pay Per Crawl -hankkeen kehittämistä. Palvelun uusi nimi on Pay Per Use, ja sen tavoitteena on, että julkaisijat saisivat korvauksen aina silloin, kun tekoälypalvelu hyödyntää heidän sisältöään.
Yhtiö on ilmoittanut yhteistyöstä muun muassa Ceramic.ai:n ja You.comin kanssa. Tarkoituksena on, että sisällöntuottajille voidaan maksaa automaattisesti silloin, kun heidän sisältöään käytetään tekoälyhaussa tai AI-agenttien vastauksissa.
Uusi näkymä bottiliikenteeseen
Cloudflare julkaisee myös uuden Business Insights Dashboard -hallintapaneelin, jonka avulla verkkosivujen ylläpitäjät voivat seurata entistä tarkemmin, kuinka paljon erilaiset botit käyttävät sivuston sisältöä.
Paneeli näyttää esimerkiksi, kuinka paljon liikennettä tekoälyrobotit aiheuttavat ja kuinka paljon ne mahdollisesti tuovat käyttäjiä takaisin sivustolle.
Muutos voi vaikuttaa koko verkkosisältöjen tulevaisuuteen
Cloudflaren päätös on yksi merkittävimmistä tähän asti tehdyistä muutoksista verkkosisällön ja ohjelmistojen suojaamisessa tekoälypalveluilta. Jos yhä useammat julkaisijat ottavat vastaavat käytännöt käyttöön, tekoäly-yhtiöt voivat joutua siirtymään entistä enemmän lisensointiin ja maksullisiin sisältösopimuksiin sen sijaan, että ne keräisivät verkkosisältöä vapaasti bottien avulla.