Google Cloud a publicat la 17 octombrie suportul și configurațiile optimizate pentru rularea Beam, modelul cu ponderi deschise dezvoltat de Reflection pentru programare, raționament și agenți AI. Pachetul include soluții bazate pe llm-d și NVIDIA Dynamo, fișiere de configurare pentru infrastructura Google și instrumente de evaluare. Anunțul privește executarea modelului pe resurse cloud și modul în care sunt gestionate sesiunile lungi, cu numeroase apeluri succesive.
Beam are aproximativ 501 miliarde de parametri în total și activează aproximativ 23 de miliarde pentru fiecare token procesat, potrivit fișei publicate de Reflection. Arhitectura este de tip mixture-of-experts. Modelul primește și generează text, a fost dezvoltat predominant pentru engleză și acceptă un context de un milion de tokenuri. Acesta reprezintă volumul de informații utilizabile în contextul interacțiunii, distinct de numărul parametrilor modelului.
Ponderi deschise și trei variante numerice
Reflection publică ponderile Beam sub licența Apache 2.0, în variantele BF16, FP8 și NVFP4. Aceste denumiri identifică reprezentări numerice diferite ale modelului. Fișa descrie utilizări comerciale și de cercetare, inclusiv generarea de text, dezvoltarea software, sarcini agentice de durată și rezumarea informațiilor. Sunt prevăzute și adaptarea modelului, fine-tuningul și cuantizarea, în cadrul licenței publicate.
Capabilitățile enumerate includ lucrul cu probleme din proiecte software, folosirea instrumentelor din linia de comandă și integrarea cu medii pentru agenți de programare. Modelul este destinat interacțiunilor în care o sarcină presupune mai mulți pași, apeluri de instrumente și interpretarea rezultatelor primite. Fișa menționează integrarea instrumentelor prin MCP și generarea de cod în mai multe limbaje de programare.
Într-un asemenea flux, aplicația transmite modelului solicitări și informații din instrumentele conectate, apoi preia răspunsurile pentru următorul pas al sarcinii. Publicarea ponderilor și a configurațiilor de rulare este relevantă pentru aplicațiile custom cu integrare AI, deoarece echipa tehnică poate administra modelul și infrastructura pe care acesta este executat. Anunțul Google descrie componentele necesare acestei rulări pe platforma cloud.
Fișa modelului indică 30 iunie 2026 ca limită temporală a cunoștințelor. Reflection descrie un corpus care include conținut web, cod sursă, documentație tehnică, materiale de referință și date obținute prin acorduri comerciale. Compania menționează filtrarea calității, eliminarea duplicatelor și măsuri pentru reducerea contaminării benchmarkurilor în procesul de pregătire a modelului.
Două configurații pentru infrastructura de inferență
Pachetul Google Cloud asociază llm-d cu vLLM și NVIDIA Dynamo cu SGLang. Configurațiile sunt publicate în depozite de cod, iar anunțul indică și Model Garden din platforma Gemini. Fișierele includ manifeste Kubernetes, configurarea rutării și scripturi pentru benchmarkuri. Ele sunt destinate implementării într-un cluster GKE și folosesc infrastructură GPU pentru servirea modelului.
Platformele hardware descrise sunt instanțele A4X Max cu NVIDIA GB300 NVL72 și mașinile virtuale G4 cu NVIDIA RTX PRO 6000. Google explică optimizările în raport cu execuția mai multor sesiuni agentice în paralel. În aceste sesiuni, fiecare etapă poate adăuga fișiere citite, diferențe de cod, mesaje de compilare sau rezultate ale instrumentelor la istoricul comun al conversației.
Creșterea istoricului mărește cantitatea de informație care trebuie procesată înaintea producerii următorului răspuns. În prezentarea Google, această etapă este numită prefill. Generarea tokenurilor urmează apoi în etapa decode. Configurațiile separă aceste categorii de lucru, astfel încât solicitările cu mult context să fie gestionate distinct de producerea continuă a răspunsurilor în sesiunile active.
Reutilizarea contextului este tratată la nivelul întregului sistem
Rutarea ține cont de contextul deja păstrat de fiecare replică a modelului și de încărcarea acesteia. O solicitare care continuă aceeași sesiune poate fi direcționată către replica ce are deja informațiile necesare în memoria cache. Scopul tehnic descris de Google este reducerea reprocesării aceluiași istoric, în locul distribuirii succesive a cererilor fără a ține cont de context.
Configurația folosește și memorie pe mai multe niveluri pentru KV cache, structura care păstrează informații intermediare din context. Datele active rămân în memoria GPU, iar blocurile reutilizabile pot fi transferate în memoria RAM a sistemului și pe SSD local. Google descrie acest mecanism pentru situațiile în care mai multe conversații lungi depășesc capacitatea disponibilă direct pe acceleratoare.
Alte componente includ împărțirea etapelor prefill și decode între resurse diferite, alocarea experților modelului și generarea speculativă. În anunț este menționat DFlash2 pentru această ultimă categorie de optimizare. Aceste intervenții privesc sistemul care servește modelul și desfășurarea apelurilor succesive, în timp ce numărul parametrilor și arhitectura Beam sunt caracteristici ale modelului propriu-zis.
Rezultatele publicate au configurații de referință distincte
Google Cloud raportează, pe baza benchmarkurilor clientului, un debit de până la cinci ori mai mare și o latență de până la opt ori mai mică pentru configurația optimizată A4X Max. Pentru G4, compania indică un debit de până la două ori mai mare și o latență de până la opt ori mai mică. Valorile sunt prezentate în comparație cu implementări de referință pe același hardware.
Testele descrise utilizează NVIDIA Dynamo cu 32 de GPU-uri GB300 NVL72 pe A4X Max și llm-d cu opt GPU-uri RTX PRO 6000 pe G4. Google precizează că cele două configurații nu sunt comparabile direct între ele. Graficele urmăresc efectul optimizărilor în fiecare configurație, inclusiv rutarea, memoria cache și separarea etapelor de procesare, în condițiile creșterii numărului de sesiuni simultane.
Reflection publică separat în fișa modelului rezultate pentru sarcini de programare, raționament și utilizare a instrumentelor, pentru fiecare variantă numerică. Aceste evaluări descriu capabilitățile modelului, în timp ce benchmarkurile Google Cloud descriu sistemul de rulare. Pachetul anunțat pune la dispoziție ponderile, configurațiile și scripturile folosite pentru implementare, păstrând distincte evaluarea modelului și măsurarea infrastructurii care îl execută.
