Google a prezentat pe 28 octombrie Gemini 4 Carbon, un nou model AI destinat sarcinilor complexe de programare, activităților desfășurate în mai multe etape și apărării cibernetice. Accesul începe în această săptămână pentru un grup restrâns de specialiști în securitate, urmând să fie extins treptat către parteneri de încredere prin programul Fairwind.
La momentul anunțului, Carbon este în etapa de distribuire controlată către apărători cibernetici. Google pregătește ulterior accesul dezvoltatorilor, firmelor și consumatorilor prin produsele sale, după colectarea feedbackului și ajustarea mecanismelor de protecție. Compania participă și la procesul voluntar al guvernului american pentru testarea modelelor înainte de lansare.
Identificarea vulnerabilităților și verificarea remedierilor
Potrivit Google, Carbon îmbunătățește capacitatea modelului de a urmări probleme de inginerie dificile, inclusiv investigarea cauzelor unor erori și pregătirea corecțiilor în proiecte software mari. Compania relatează că echipele sale au observat execuții care continuă timp de mai multe zile, în care modelul revine asupra abordărilor nereușite și parcurge sarcini tehnice cu numeroși pași.
Evaluările de securitate prezentate acoperă trei activități distincte: găsirea vulnerabilităților, verificarea posibilității de exploatare și remedierea codului. Google raportează 88,2% pe SEC-bench Pro, 54,8% pe ExploitGym și 71% pe CWE-bench. Compania precizează că evaluările externe enumerate au fost realizate fără mecanismele de protecție ale modelului, pentru măsurarea capabilității tehnice.
În evaluarea CWE-bench, publicată de Collinear, Carbon apare cu 71% la scorul programatic pentru o singură încercare și 81% când sunt luate în calcul patru încercări. Testele folosesc mediul Antigravity pentru acest model. Scorurile descriu rezultatul configurației evaluate, formată din model și mediul agentului, pe sarcinile benchmarkului.
Setul curent CWE-bench cuprinde 120 de sarcini de audit și remediere, acoperind 73 de tipuri de vulnerabilități. Agentul primește un proiect open-source și cerința de a-l verifica și corecta, fără indicarea prealabilă a defectelor. Verificarea programatică urmărește închiderea vulnerabilității și păstrarea funcționalității existente; evaluarea publică include separat și un juriu format din trei agenți.
Fiecare configurație evaluată parcurge patru rulări pentru fiecare sarcină, la un nivel ridicat de raționament. O rulare are o limită de o oră; la expirarea ei este verificat codul în forma în care se află atunci. Proiectele din set acoperă C/C++, Go, Java, JavaScript și TypeScript, Python și Rust, astfel încât testarea cuprinde mai multe ecosisteme software.
Dezvoltare web și sarcini de programare de durată
Google afirmă că a îmbunătățit modelul pentru programare, utilizarea instrumentelor de către agenți, activități științifice, dezvoltare web completă și înțelegerea informațiilor multimodale. În WebDev Arena, compania raportează un câștig de 89 de puncte Elo și poziția a patra, cu un scor de 1.768, la data anunțului. Această evaluare privește rezultatele de dezvoltare web prezentate în sistemul respectiv.
Pentru generarea de cod sigur, Google comunică o rată de succes de peste două ori mai mare decât a Gemini 4 Argon în testele sale interne. Comparația se referă la acele evaluări ale companiei. Google menționează și testarea modelului de către Wiz pe benchmarkuri de penetrare web, capabilitate folosită în inițiativa Scan for Good.
Carbon continuă direcția modelului Argon prezentat în aceeași lună, dar accesul inițial este concentrat pe apărare cibernetică. În această etapă, utilizarea anunțată urmărește investigarea și repararea problemelor software de către parteneri verificați, în cadrul procesului de introducere controlată a noilor capabilități.
Monitorizarea acțiunilor și rezistența la instrucțiuni malițioase
Modelul folosește sistemul de siguranță cu mai multe niveluri construit pentru Argon: antrenare, verificări ale solicitărilor, protecții împotriva utilizării abuzive și monitorizarea raționamentului. Carbon a fost antrenat suplimentar pentru situații complexe sau în care presiunea de a finaliza o sarcină poate favoriza scurtături și depășirea instrucțiunilor primite.
În Terminal-Bench 4.0, Google raportează o rată de 0,4% pentru tentativele de a ocoli evaluarea și 0% pentru tentativele reușite, concomitent cu îmbunătățirea acurateței. În mediile de programare folosite de echipele sale, alertele privind abateri grave de la comportamentul cerut au scăzut cu aproape 80%, conform observațiilor interne ale companiei.
Alte evaluări interne indică o reducere de aproximativ două ori a afirmațiilor nesusținute față de Argon. Google mai raportează scăderi de 26% pentru depășirea scopului unei sarcini și de 29% pentru executarea incompletă a acesteia. Indicatorii se referă la comportamentul măsurat în testele prezentate de companie, fiecare având un obiectiv distinct.
Pentru instrucțiunile malițioase întâlnite în conținut consultat de agent, Google indică o rată de succes a atacurilor de 0% în evaluarea Gray Swan Indirect Prompt Injection, față de 0,7% pentru Argon. Rezultatul descrie setul de atacuri evaluat. Protecția urmărește să împiedice devierea sarcinii prin instrucțiuni inserate în pagini web, documente sau cod.
Acces prin Fairwind și tarifele anunțate
Fairwind prioritizează organizații cu rol în apărarea infrastructurii și serviciilor esențiale, inclusiv autorități publice, furnizori medicali, operatori de telecomunicații și platforme tehnologice. Programul verifică solicitanții și istoricul lor de activitate etică. Regulile prevăd acces administrat, autentificare individuală și măsuri împotriva distribuirii sau revânzării accesului la modele.
Google a anunțat pentru Carbon un tarif introductiv de doi dolari pentru un milion de tokenuri de intrare și zece dolari pentru un milion de tokenuri de ieșire. Intrările păstrate în cache au o reducere de 95% față de prețul intrării. După perioada introductivă, tarifele anunțate sunt de patru dolari, respectiv 20 de dolari pentru aceleași volume. Lansarea către publicul larg urmează după etapa inițială cu partenerii de securitate.
