OpenAI a anunțat pe 16 noiembrie acorduri cu Apollo Research, Goodfire, METR și Transluce pentru prima etapă a programului de evaluări externe integrate în activitatea de cercetare. Proiectele vizează alinierea modelelor și mecanismele de protecție, inclusiv în timpul antrenării și al folosirii interne. Anunțul descrie acorduri, obiective și condiții de acces, nu rezultatele finale ale celor patru evaluări.
Programul urmărește să ofere evaluatorilor acces la elemente care depășesc interacțiunea obișnuită cu un chatbot public. În funcție de proiect, acesta poate include modele publicate sau nepublicate, versiuni intermediare, cod, date de antrenare și evaluare, instrumente de monitorizare, documente și discuții cu cercetătorii. Domeniul accesului este stabilit separat pentru fiecare organizație.

Ce înseamnă o evaluare integrată în cercetare
Termenul folosit de OpenAI descrie colaborarea evaluatorilor externi cu echipele și sistemele relevante din laborator. Accesul la informații interne permite întrebări diferite de cele adresate unui model printr-o interfață publică. De exemplu, evaluarea poate privi modul în care este construit un test sau felul în care antrenarea influențează comportamentul observat.
Fiecare colaborare începe cu stabilirea domeniului evaluării, a resurselor și a condițiilor de siguranță. Evaluatorii pot urmări dovezile, rafina metodele și solicita acces suplimentar pe parcurs. Când accesul direct ar expune proprietate intelectuală deosebit de sensibilă, OpenAI descrie și alternativa unor analize efectuate împreună cu cercetătorii săi. Accesul este astfel organizat pentru întrebarea concretă investigată.
Evaluatorii care au nevoie de informații confidențiale sensibile vor lucra la sediile OpenAI, pe dispozitive furnizate de companie. Standardele de securitate aplicate experimentelor vor fi cel puțin cele cerute angajaților, cu condiții suplimentare în anumite cazuri. Personalul desemnat poate explica resursele și contextul cercetării, în timp ce organizarea accesului protejează informațiile consultate.
Patru organizații, obiective de evaluare diferite
Apollo Research va evalua patru afirmații: antrenarea nu a stimulat subversiunea; evaluările și testarea adversarială nu provoacă asemenea comportamente; modelele nu au încercat subversiune în folosirea internă; raționamentul din spatele ei ar fi detectabil. Sunt afirmații supuse verificării, nu concluzii deja confirmate prin această evaluare. Proiectul este organizat în două etape.
Goodfire se va concentra pe interpretabilitate și pe instrumente de monitorizare și depanare a antrenării. Interpretabilitatea privește înțelegerea funcționării interne a modelelor și a relației dintre mecanismele lor și comportamente. Potrivit OpenAI, publicul principal al acestui proiect este inițial echipa internă de cercetare, iar învățămintele rezultate vor fi publicate.
METR va evalua alinierea în cadrul celui mai mare proces de antrenare prin învățare prin întărire vizat de acord. Organizația își poate stabili prioritățile independente în interiorul acestui domeniu convenit. Un proiect suplimentar, mai amplu, privind monitorizarea rămâne într-o etapă preliminară, cu domeniul de lucru care trebuie încă definit între părți.
Transluce va analiza calitatea și acoperirea evaluărilor din etapa de după antrenarea inițială. Compania menționează și intenția unei colaborări ulterioare de opt săptămâni, la începutul lui 2027. Acea etapă este prezentată ca plan viitor; nu reprezintă o evaluare deja finalizată și nici un raport public de rezultate disponibil în momentul anunțului.
Domeniile primei etape anunțate de OpenAI
| Organizație | Accentul proiectului | Delimitare |
|---|---|---|
| Apollo Research | Aliniere și detectarea comportamentelor problematice | Afirmații și mecanisme selectate pentru evaluare |
| Goodfire | Interpretabilitate și monitorizarea antrenării | Utilitate inițială pentru cercetarea internă |
| METR | Aliniere într-un proces major de învățare prin întărire | Proiectul suplimentar de monitorizare este preliminar |
| Transluce | Calitatea evaluărilor după antrenare | Etapa de opt săptămâni din 2027 este planificată |
Cine primește rapoartele și cum sunt tratate divergențele
OpenAI descrie un rol de supraveghere pentru Safety and Security Committee, comitet al consiliului OpenAI Foundation. Evaluatorii pot comunica direct și în privat cu acesta. Comitetul primește rapoartele fără redactările aplicate versiunilor publice, ceea ce separă informația disponibilă pentru supraveghere de forma în care rezultatele vor fi comunicate în exterior.
Divergențele sunt escaladate către Safety Advisory Group și conducerea OpenAI, cu un termen stabilit pentru soluționare și notificarea promptă a comitetului. Dacă dezacordul persistă, problema este transmisă comitetului pentru rezolvare. Acest circuit descrie responsabilitățile de supraveghere și soluționare în program, separat de munca tehnică prin care evaluatorii produc constatările.
Pentru publicare, OpenAI păstrează dreptul de a redacta informații confidențiale și de a solicita amânări legate de divulgarea responsabilă a unor probleme. Aceste condiții sunt parte a acordurilor descrise. Prin urmare, existența unui raport intern și apariția unei versiuni publice complete în aceeași zi nu sunt același angajament al programului.
Finanțarea și independența au condiții explicite
Apollo Research și Goodfire primesc compensații pentru activitate, iar plata nu este condiționată de obținerea unor rezultate favorabile OpenAI. Precizarea privește relația contractuală descrisă de companie. Calitatea concluziilor fiecărui proiect se va putea analiza prin domeniul verificat, dovezile prezentate și limitele raportului publicat, nu doar prin numele organizației implicate.
METR și Transluce nu acceptă compensație financiară pentru evaluare, potrivit condițiilor prezentate. Aceste organizații pot primi însă resurse de calcul sau acces API. Diferența este relevantă pentru transparență: absența plății pentru evaluare și absența oricărei resurse furnizate de laborator sunt situații distincte, iar acordurile le descriu separat.
Discuțiile cu angajații pot informa evaluarea, dar nu pot fi publicate sau atribuite individual. Separat, evaluatorii pot cere OpenAI să confirme, corecteze ori clarifice prin declarații asumate informațiile discutate. Ei pot publica declarațiile confirmate sau faptul că OpenAI a refuzat confirmarea. Procedura separă contextul confidențial al conversației de afirmația pe care compania o asumă public.
Ce relevanță are anunțul pentru aplicațiile folosite de firme
O evaluare a laboratorului și o evaluare a unei aplicații de business privesc niveluri diferite. Prima poate analiza antrenarea, alinierea sau testele modelului. A doua include datele firmei, permisiunile, instrumentele conectate și rezultatul unei sarcini concrete. Programul OpenAI descrie primul nivel și nu publică un audit individual al implementărilor clienților.
Această separare este importantă pentru aplicațiile custom cu AI, unde modelul este una dintre componente. Un agent care citește documente și unul care poate modifica înregistrări au drepturi și efecte diferite, chiar dacă folosesc aceeași familie de modele. Domeniul evaluat de furnizor și domeniul aplicației trebuie descrise separat în documentația implementării.
Noutatea din 16 noiembrie este stabilirea unor proiecte cu acces intern și obiective explicite pentru patru evaluatori. Rezultatele, metodele și eventualele constatări publicate ulterior vor reprezenta dovezi distincte de acest anunț. În această etapă, informațiile concrete sunt organizațiile implicate, temele atribuite, condițiile accesului și mecanismele de supraveghere și publicare.