SEMrush certifikat
Kratki odgovor: Google je 30. listopada 2026. najavio da podržava novi, zajednički signal u robots.txt datoteci kojim vlasnici web stranica jednim unosom mogu odrediti smiju li AI tvrtke koristiti njihov sadržaj za treniranje modela. Isti dan slične su korake najavili Microsoftov Bing, OpenAI i Anthropic. Standard se temelji na radu otvorene IETF radne skupine AIPREF, a Google ga planira stvarno primjenjivati od početka 2027. godine.
Što točno uvodi novi token
Novi redak u robots.txt datoteci nosi oznaku user-agenta __usage_ai-training. Umjesto da vlasnik weba u robots.txt mora pojedinačno nabrajati svakog AI robota, poput Google-Extended za Google, GPTBot za OpenAI ili ClaudeBot za Anthropic, jednim pravilom može odrediti opću preferenciju prema svim sudionicima standarda odjednom. Prijedlog dolazi iz radne skupine AIPREF pri IETF-u, međunarodnom tijelu koje postavlja tehničke standarde interneta.
Do sada su vlasnici web stranica morali ručno prepoznavati desetke različitih AI robota, od GPTBota tvrtke OpenAI, preko Googleova Google-Extended, do ClaudeBota tvrtke Anthropic ili PerplexityBota, i za svakog posebno odlučivati smije li mu se pristup odobriti ili zabraniti. Svaka nova AI tvrtka značila je novi redak u robots.txt datoteci, a vlasnici manjih stranica često nisu ni znali koje robote trebaju dodati na popis. Zajednički token tu praksu pojednostavljuje, barem za tvrtke koje pristanu na zajednički standard.
Tko sve stoji iza prijedloga
Prema objavi na Google Search Central blogu, tvrtka se pridružuje rješenju koje istog dana podržavaju i drugi veliki pružatelji AI usluga, uz Bing se spominju OpenAI i Anthropic. Portal Search Engine Roundtable, koji vijest prenosi uredničkim komentarom Barryja Schwartza, opisuje ovaj potez kao prvi slučaj da se više konkurentskih AI tvrtki javno uskladi oko jednog zajedničkog tehničkog signala za upravljanje treniranjem na sadržaju trećih strana.
Kako to utječe na postojeće postavke
Postojeći, tvrtkama specifični tokeni poput Google-Extended i dalje vrijede usporedno s novim zajedničkim signalom, Google ih neće ukinuti uvođenjem novog pravila. Postoji i jedna praktična zamka: ako vlasnik weba kroz zajednički token zabrani treniranje, a pritom izričito ne navede Google-Extended, Google će to protumačiti kao da je i Google-Extended zabranjen. Google-Extended posebno treba ostati dopušten onim vlasnicima stranica koji žele da njihov sadržaj ostane vidljiv u odgovorima i klikovima unutar Gemini aplikacije.
Zašto standard još nije dovršen
Nate Hake, jedan od sudionika rasprave u radnoj skupini AIPREF, upozorio je kako prijedlog još nije finaliziran i da među sudionicima postoje znatna neslaganja. Prema njegovim riječima, najveći problem predstavlja to što nacrt standarda izuzima upite koje izravno pokreće korisnik, primjerice kad netko u ChatGPT-u ili Gemini sučelju izravno traži sažetak nekog članka. Hake smatra da to otvara prostor za zlouporabu i šteti kreatorima sadržaja koji se već suočavaju s takozvanim AI spamom. Ispravio je i tvrdnju da su velike tvrtke njega i druge sudionike posebno pozvale u radnu skupinu, naglasivši da je riječ o javnoj skupini bez sustava pozivnica.
Zašto je trenutak važan za industriju
Fragmentacija pravila za AI robote dosad je bila jedna od čestih pritužbi SEO stručnjaka i vlasnika medija: svaka velika tvrtka slijedila je vlastiti naziv robota i vlastita pravila tumačenja, pa je bilo lako nehotice ostaviti otvorena vrata jednoj AI tvrtki dok se zatvaraju drugoj. Zajednička oznaka ne rješava pitanje hoće li AI tvrtke doista poštovati izraženu preferenciju, jer robots.txt ostaje dobrovoljna smjernica, a ne tehnička prepreka. Ipak, činjenica da se nekoliko najvećih igrača na tržištu AI pretraživanja i chatbota usuglasi oko istog zapisa, makar i dobrovoljno, mijenja očekivanja o tome što se od ostalih AI tvrtki ubuduće smatra standardnim ponašanjem.
Što to znači za hrvatske vlasnike web stranica
Za hrvatske agencije, webshopove i medijske portale praktična posljedica stiže tek u 2027. godini, no priprema robots.txt datoteke može početi i ranije. Umjesto da svaki put dodaju novog AI robota na popis, vlasnici stranica uskoro će moći jednim retkom postaviti opće pravilo za cijelu kategoriju AI alata, a po potrebi zadržati posebne iznimke za pojedine tvrtke. Do tada je najsigurnije redovito provjeravati vlastiti robots.txt i pratiti službene najave, jer greška u zapisu lako može značiti da sadržaj ispadne iz AI odgovora u kojima vlasnik zapravo želi biti prisutan. Detaljnije upute o tehničkom uređenju weba dostupne su u bazi znanja Jupiter Media, a o širem kontekstu optimizacije za tražilice piše se u pregledu SEO optimizacije.
Izvori
- Google Search Central Blog – Supporting a shared AI training control for websites
- Search Engine Roundtable – Google AI Training Control
Naslovna slika: Negative Space / Pexels
