Google și OpenAI au anunțat pe 30 octombrie sprijinul pentru un semnal comun prin care administratorii website-urilor își vor putea exprima preferințele privind folosirea conținutului la antrenarea modelelor AI. Propunerea utilizează fișierul robots.txt și urmărește transmiterea aceleiași opțiuni către mai mulți furnizori participanți. Google indică începutul anului 2027 pentru implementare, iar OpenAI vorbește despre lunile următoare.
Schimbarea privește controlul asupra utilizării conținutului publicat online. Pentru editori și firme care administrează website-uri, mecanismul propus adaugă o opțiune comună peste controalele individuale ale companiilor AI. Regulile existente rămân în funcțiune, iar cele două anunțuri descriu o implementare viitoare, cu calendare proprii fiecărui furnizor.
Un identificator comun în fișierul robots.txt
Semnalul este descris într-un proiect tehnic publicat la IETF pe 30 octombrie, sub numele Machine-Readable Training Preference Signal. Documentul propune identificatorul __usage_ai-training, introdus într-un grup de reguli robots.txt. Administratorul poate comunica astfel o preferință referitoare la antrenare folosind structura deja cunoscută a fișierului.
Propunerea păstrează directivele Allow și Disallow și regulile de potrivire a adreselor din protocolul existent. Nu introduce un limbaj separat pentru scrierea fișierului. În loc să repete aceeași opțiune pentru fiecare furnizor care adoptă mecanismul, operatorul website-ului o poate exprima prin identificatorul comun, alături de regulile dedicate unor companii.
Preferințele pot fi definite pe căi ale website-ului. Exemplul din proiect descrie o opțiune împotriva antrenării pentru întregul site, cu o excepție favorabilă pentru un director de materiale de presă. Această delimitare permite exprimarea unor alegeri diferite pentru secțiuni distincte, păstrând mecanismul de potrivire a căilor din robots.txt.
Documentul separă însă semnalul de utilizare a conținutului de regulile pentru accesul crawlerelor. Identificatorul de politică poate exista în robots.txt fără să apară în antetul HTTP al unui robot. Rolul lui este să comunice scopul pentru care poate fi utilizat conținutul, în timp ce regulile adresate unui crawler continuă să descrie accesul acestuia.
Controalele Google existente rămân valabile
Google a explicat cum intenționează să interpreteze noul semnal. Dacă un website exprimă prin acesta o preferință împotriva antrenării și nu specifică explicit Google-Extended, compania plănuiește să trateze opțiunea ca pe o interdicție adresată Google-Extended. Regulile explicite pentru acest control vor putea continua să exprime o alegere individuală pentru Google.
Google-Extended este disponibil din 2023. Potrivit documentației actuale, acesta controlează utilizarea conținutului pentru antrenarea generațiilor viitoare de modele Gemini și pentru grounding în Gemini Apps și în serviciul Grounding with Google Search din Vertex AI. Grounding înseamnă furnizarea de conținut modelului la momentul solicitării, pentru a sprijini răspunsul cu informații relevante.
Compania precizează separat că Google-Extended nu influențează includerea unui website în Google Search și nu este un semnal de clasare în Search. Pentru căutare, regulile de acces adresate Googlebot își păstrează rolul. Distincția separă administrarea vizibilității în motorul de căutare de preferința privind utilizările acoperite de Google-Extended.
În anunțul din 30 octombrie, Google menționează că website-urile care permit explicit Google-Extended sunt eligibile să apară în răspunsuri și să primească accesări prin grounding în Gemini Apps. Această precizare privește produsul Gemini Apps. Ea este prezentată împreună cu explicația că viitorul semnal comun va funcționa alături de controalele specifice furnizorilor.
OpenAI păstrează separarea dintre căutare și antrenare
OpenAI a descris inițiativa ca pe un efort voluntar pentru simplificarea opțiunilor administratorilor de website-uri. Compania intenționează să implementeze semnalul în lunile următoare și să publice detaliile propriei implementări. Controalele sale actuale prin robots.txt vor continua să fie aplicate, în paralel cu opțiunea comună.
Documentația OpenAI tratează independent OAI-SearchBot și GPTBot. Primul este utilizat pentru descoperirea și afișarea website-urilor în funcțiile de căutare ChatGPT. GPTBot colectează conținut care poate fi folosit la antrenarea modelelor generative de bază. Un administrator poate permite OAI-SearchBot și poate refuza GPTBot, exprimând separat cele două alegeri.
OpenAI precizează și că, atunci când ambele sunt permise, poate utiliza rezultatele unei singure accesări pentru ambele scopuri, pentru a evita colectarea duplicată. ChatGPT-User are un rol diferit: este asociat unor acțiuni pornite de utilizatori și nu stabilește eligibilitatea conținutului pentru căutare. Noul anunț păstrează aceste controale existente.
Proiect tehnic în lucru, cu un scop delimitat
În registrul IETF, propunerea este un Internet-Draft individual, nu un standard adoptat. Ea se bazează pe discuțiile grupului AI Preferences, cunoscut ca AIPREF. Textul definește antrenarea ca folosirea unui conținut pentru modificarea parametrilor învățați ai unui model generativ și distinge această utilizare de sarcini exclusiv de clasificare, clasare sau evaluare.
Proiectul mai precizează că un grup general de tip User-agent cu asterisc nu trebuie interpretat automat ca o preferință pentru identificatorul de antrenare. În absența grupului care îl numește explicit, documentul consideră că nu a fost exprimată o preferință prin acest mecanism. Controalele individuale existente continuă să fie interpretate potrivit regulilor proprii.
Pentru programele care nu implementează mecanismul, proiectul urmărește păstrarea comportamentului existent. Acestea ignoră grupul de politică în același mod în care tratează un identificator de robot necunoscut. La fel, fișierele care nu folosesc noul semnal sunt interpretate în continuare fără schimbarea regulilor lor de acces.
Preferința aplicabilă unei resurse este cea exprimată în fișierul robots.txt în vigoare la momentul preluării sale, conform proiectului. Documentul recomandă prioritatea opțiunilor specifice față de cele generale și permite furnizorilor să documenteze felul în care propriile controale au precedență față de semnalul comun.
Google afirmă că propunerea reflectă solicitări ale editorilor, societății civile, autorităților și altor participanți pentru controale comune. OpenAI susține aceeași direcție și încurajează alți furnizori să respecte semnalul. Implementarea anunțată privește companiile participante și păstrează opțiunile individuale, în timp ce discuțiile tehnice de standardizare continuă în cadrul IETF.
