Google a anunțat, la 30 octombrie 2026, disponibilitatea generală a instrumentului Computer Use în Gemini API, prin interfețele Interactions și GenerateContent. Funcția permite dezvoltarea unor agenți AI care interpretează capturi de ecran și propun acțiuni în browser, în aplicații mobile sau pe desktop. Execuția acestor acțiuni este realizată de aplicația construită de dezvoltator.
Lansarea privește infrastructura pentru dezvoltatori. Accesul general la instrument este distinct de funcțiile disponibile utilizatorilor în aplicația Gemini. Computer Use intră în proiectele de dezvoltare a aplicațiilor și automatizărilor care au nevoie de interacțiune cu interfețe grafice: completarea formularelor, introducerea repetitivă a datelor, verificarea parcursurilor dintr-un website sau consultarea informațiilor despre produse.
Potrivit Google, mediul de execuție trebuie implementat pe partea aplicației care folosește API-ul. Modelul primește obiectivul utilizatorului, configurația instrumentului și imaginea stării curente. Răspunsul său poate conține un apel de funcție pentru un clic, o deplasare în pagină ori o introducere de text. Codul aplicației preia propunerea și efectuează operațiunea permisă.
După fiecare acțiune, mediul produce o nouă captură, trimisă modelului împreună cu rezultatul execuției. Următoarea decizie se bazează astfel pe interfața actualizată. Circuitul continuă până la încheierea sarcinii sau oprirea procesului. Documentația cere păstrarea în istoricul conversației atât a răspunsurilor modelului, cât și a rezultatelor funcțiilor executate.
Trei medii și mai multe modele compatibile
Lista de modele compatibile include Gemini 4 Argon, Gemini 3.8 Flash, Gemini 3.5 Flash-Lite și Gemini 3 Flash Preview. Google recomandă Gemini 3.8 Flash pentru utilizarea instrumentului. Statutul de disponibilitate generală se referă la Computer Use; denumirea și stadiul fiecărui model rămân cele proprii, inclusiv eticheta Preview pentru modelul care o poartă.
În browser, setul de operațiuni documentate cuprinde clicuri simple sau multiple, derulare, navigare către o adresă, întoarcere la pagina anterioară, tastare și combinații de taste. Sunt prevăzute și operațiuni precum tragerea unui element și realizarea unei capturi. Acestea sunt instrucțiuni pentru mediul de execuție, pe care dezvoltatorul le leagă de mecanismul său de automatizare.
Mediul mobil are acțiuni optimizate pentru Android. Între ele se află deschiderea unei aplicații după nume, afișarea aplicațiilor disponibile, apăsarea prelungită, introducerea de text și revenirea la ecranul anterior. Configurația pentru desktop oferă operațiuni la nivelul cursorului și al tastaturii, inclusiv apăsarea și eliberarea butoanelor sau tastelor și mutarea elementelor între coordonate.
Pentru modelele Gemini 4 și Gemini 3.x, acțiunile includ un câmp care explică intenția pasului propus. Aplicația primește astfel atât operațiunea, cât și motivul furnizat de model pentru alegerea ei. Coordonatele normalizate trebuie raportate la dimensiunea efectivă a ecranului. Exemplele Google folosesc Playwright pentru executarea acțiunilor în browser.
Documentația actuală indică versiunea 2.7.0 sau una ulterioară a bibliotecii Python google-genai pentru exemplele sale. Prezintă și variante pentru alte limbaje. Componentele descrise acoperă configurarea cererii, interpretarea răspunsului și transmiterea noii stări. Dezvoltatorul asamblează aceste componente într-un agent cu mai mulți pași și poate adăuga funcții proprii sau exclude acțiuni predefinite.
Confirmări distincte pentru operațiunile sensibile
În același circuit intervine un sistem de evaluare a siguranței. Răspunsul poate permite o acțiune, poate solicita confirmarea utilizatorului sau poate bloca pasul. Când este cerută confirmarea, aplicația o obține de la persoană și transmite acceptul în rezultatul funcției. O acțiune blocată impune oprirea execuției sau tratarea întreruperii de către aplicație.
Google enumeră categorii separate pentru tranzacții financiare, modificarea datelor sensibile, instrumentele de comunicare și crearea conturilor. Alte categorii acoperă schimbarea fișierelor și a datelor, gestionarea consimțământului și acceptarea termenilor juridici. Aceste delimitări includ, de exemplu, plățile, trimiterea mesajelor, ștergerea informațiilor sau interacțiunea cu solicitările privind confidențialitatea.
Politicile pot fi configurate, iar anumite comportamente au opțiuni de ajustare. Documentația precizează că sistemul poate cere în continuare confirmare chiar și atunci când dezvoltatorul a transmis o asemenea opțiune. Tratarea deciziilor de siguranță rămâne, prin urmare, parte a implementării. Instrucțiunile proprii ale aplicației pot delimita suplimentar acțiunile care necesită intervenție umană.
Instrumentul include și o verificare opțională a capturilor pentru detectarea instrucțiunilor ostile ascunse în conținutul afișat. Google numește această categorie de atac prompt injection: pagina încearcă să redirecționeze agentul prin comenzi străine de sarcina utilizatorului. Verificarea este dezactivată implicit și se activează explicit. Când detectează un asemenea atac, mecanismul blochează execuția.
Pentru mediul în care rulează agentul, Google recomandă izolarea într-o mașină virtuală, într-un container sau într-un profil de browser cu permisiuni limitate. Listele de destinații permise ori interzise stabilesc unde poate naviga sistemul. Înregistrările tehnice trebuie să acopere cererile, capturile, acțiunile propuse, deciziile de siguranță și operațiunile executate efectiv.
De la previzualizarea din 2025 la instrumentul actual
Google prezentase în octombrie 2025 un model specializat Gemini 2.5 Computer Use, disponibil atunci în previzualizare. Anunțul inițial descria automatizarea formularelor și a elementelor interactive, precum și testarea interfețelor web. În acea etapă, compania preciza optimizarea predominantă pentru browsere. Documentația actuală descrie separat mediile browser, mobil și desktop.
Exemplele publice din 2025 includeau organizarea unor elemente pe un panou vizual și transferarea informațiilor într-o aplicație demonstrativă de programări. Acestea ilustrau operațiuni realizate prin interfață, în succesiune. Anunțul din 30 octombrie 2026 stabilește noul stadiu al instrumentului în cele două API-uri, pe baza căruia dezvoltatorii pot construi propriile fluxuri.
Pentru sarcinile importante, documentația păstrează recomandarea supravegherii umane și indică evitarea deciziilor critice, a datelor sensibile și a acțiunilor ale căror erori grave nu pot fi corectate. Controlul se aplică la nivelul operațiunii concrete: modelul propune pasul, sistemul verifică permisiunea, iar aplicația execută și înregistrează rezultatul.
