SEMrush certifikat
Google, Microsoft i OpenAI objavili su u petak, 30. listopada 2026., da će zajedno podržati jedinstvenu oznaku u datoteci robots.txt kojom vlasnik web stranice jednim retkom zabranjuje korištenje svog sadržaja za treniranje AI modela kod sve tri tvrtke. Dosad je svaka tvrtka imala svoj zaseban token, poput Google-Extended ili GPTBota, pa su vlasnici webova morali nabrajati svakog pružatelja posebno. Novi, zajednički pristup proizlazi iz nacrta unutar IETF radne skupine za AI postavke, a prve konkretne rokove za podršku već je objavio Microsoft.
O ovome prenose Search Engine Journal i Search Engine Roundtable, pozivajući se na objavu Googleova Search Central bloga od 30. listopada 2026. Hrvatski portali o ovoj temi još nisu pisali.
Kako funkcionira nova oznaka
Umjesto da u robots.txt nabraja Google-Extended, GPTBot i druge tokene zasebno, vlasnik stranice može postaviti jednu skupinu pravila pod zajedničkim nazivom korisničkog agenta __usage_ai-training, s uobičajenim Allow i Disallow direktivama. Taj token ne upravlja indeksiranjem ni pretraživanjem – služi isključivo za označavanje pristanka ili odbijanja korištenja sadržaja za treniranje AI modela. Nacrt je potpisao Kevin Kelley iz Anthropica, a razvija se unutar IETF radne skupine posvećene AI postavkama.
Prijedlog ne uvodi novu direktivu niti mijenja postojeću sintaksu robots.txt datoteke – samo dodaje novi, zajednički prepoznat naziv skupine pravila koji sve tri tvrtke planiraju čitati na isti način.
Što konkretno planiraju Google, Microsoft, OpenAI i Anthropic
Google će zajedničku oznaku tretirati kao blokadu Google-Extendeda ako stranica tu blokadu ne navede posebno, što uključuje i zabranu korištenja sadržaja za temeljenje odgovora (grounding) u Gemini aplikacijama. Podršku planira uvesti tijekom 2027. Microsoft uz treniranje dodaje i zasebnu postavku za AI grounding na razini stranice te njome zamjenjuje stare NoArchive i NoCache oznake – privremena postavka u Bing Webmaster Toolsu otvara se 15. prosinca 2026., nove opcije počinju vrijediti od 1. veljače 2027., a stare oznake Microsoft prestaje prepoznavati 1. ožujka 2027. OpenAI navodi da planira početi poštovati signal u sljedećih nekoliko mjeseci, dok Anthropic radi na podršci, ali još nije objavio rok.
Zašto je ovo važno za hrvatske vlasnike webova
Tema nije samo tehnička sitnica za developere. Tijekom 2026. rasprava o tome smije li AI tvrtka trenirati modele na tuđem sadržaju bez naknade postala je glavna tema brojnih sudskih sporova u SAD-u i Europi, a nagodbe poput one između OpenAI-ja i nekoliko velikih izdavača pokazale su da sadržaj ima cijenu. Zajednička oznaka ne rješava pitanje naknade, ali prvi put daje jasan, dogovoren alat da se pristanak uopće izrazi na način koji sve relevantne tvrtke prepoznaju.
Svaki vlasnik weba ili webshopa koji ne želi da AI tvrtke koriste njegov sadržaj za treniranje modela dosad je morao pratiti i ažurirati zasebne tokene za svaku tvrtku, uz rizik da zaboravi nekog novog igrača. Jedna zajednička oznaka, ako je sve tri tvrtke stvarno dosljedno primijene, znatno pojednostavljuje upravljanje robots.txt datotekom i smanjuje prostor za pogrešku.
Druga strana priče jest da blokada preko zajedničke oznake, prema Googleovom tumačenju, automatski isključuje i temeljenje odgovora u Gemini aplikacijama – što znači manju vidljivost sadržaja u AI odgovorima, ne samo manje korištenja za treniranje. Tvrtke koje žele da njihov sadržaj ostane vidljiv u AI pretraživanju, ali ne žele da se njime treniraju modeli, morat će pažljivo razlikovati ta dva slučaja kad nova pravila stupe na snagu.
Što napraviti već sada
Konkretna podrška kreće tek 2027., pa nema potrebe hitno mijenjati robots.txt datoteku ovaj tjedan. Vrijedi otvoriti trenutnu datoteku i provjeriti koje tokene već sadrži, zapisati rokove koje je objavio Microsoft te pratiti Googleov Search Central blog i Bing Webmaster alate u sljedećih nekoliko mjeseci. Tvrtke koje nemaju interni razvojni tim za ovakve promjene mogu zatražiti pomoć u tehničkoj SEO optimizaciji, a dodatne upute o AI vidljivosti sadržaja dostupne su u bazi znanja.
Za sada je najvažnije znati da promjena dolazi i da ima konkretne datume, ne samo najave bez roka – što iz iskustva s prethodnim AI tokenima nije bilo pravilo.
Izvori
- Google Search Central Blog – Supporting a shared AI training control for websites
- Search Engine Journal – Google, Microsoft & OpenAI Agree On Shared AI Training Opt-Out
- Search Engine Roundtable
Naslovna slika: Pixabay / Pexels
