Colibrì poate executa local GLM-5.2, un model de aproximativ 744 de miliarde de parametri, folosind procesorul și încărcând din SSD componentele de care are nevoie. Placa video dedicată este opțională. Configurația documentată folosește însă aproximativ 429 GB de fișiere pentru model, iar timpul de răspuns depinde de memoria disponibilă, accesul la SSD și calculele procesorului.

Pentru un antreprenor, întrebarea utilă este ce activitate poate prelua sistemul pe calculatorul existent. Analiza de mai jos folosește configurația unui ASUS Zenbook Duo UX8406MA: Core Ultra 9 185H, 32 GB RAM, Windows 11 Pro și SSD NVMe de aproximativ 2 TB. Inventarul hardware a fost citit la 16 noiembrie 2026. Performanțele GLM-5.2 pe acest laptop urmează să fie măsurate; valorile de viteză prezentate separat provin din documentația proiectului.

Ce reprezintă cele 744 de miliarde de parametri

GLM-5.2 este modelul preantrenat dezvoltat de Z.ai. Colibrì este motorul de inferență care îi execută calculele. Instalarea lor pe laptop permite folosirea unui model existent; antrenarea acestuia a avut loc anterior. Personalizarea unei aplicații pentru documentele firmei este o etapă distinctă de antrenarea modelului de bază.

GLM-5.2 folosește o arhitectură Mixture of Experts, prescurtată MoE. La fiecare pas, un mecanism de rutare selectează o parte dintre experți. Configurația publicată indică 256 de experți rutați și selectarea a opt pentru fiecare token, în straturile respective, alături de componente partajate. Proiectul descrie aproximativ 40 de miliarde de parametri activi per token, din totalul de 744 de miliarde. Un token este o unitate de text care poate reprezenta o parte de cuvânt, un cuvânt sau un semn.

Selectarea experților reduce calculele necesare unui pas față de activarea tuturor experților. Fișierele tuturor experților rămân necesare, deoarece alte cereri pot activa alte combinații. De aici apare diferența dintre memoria folosită în timpul executării și spațiul ocupat pe SSD.

Traseul ponderilor: SSD → RAM → procesor

  1. 01 · STOCARE

    SSD NVMe

    Păstrează fișierele modelului, inclusiv experții care nu sunt încărcați în memoria de lucru.

    429 GB pentru pachetul de referință

  2. 02 · MEMORIE

    RAM și cache

    Conține componentele rezidente și o selecție de experți. Ce lipsește din cache este citit din SSD.

    Buget limitat de memoria liberă

  3. 03 · EXECUTARE

    CPU

    Execută operațiile necesare generării. Pentru proba fără GPU alegem explicit backendul CPU.

    Tokenii formează răspunsul

De ce modelul încape pe SSD, deși nu încape în RAM

Colibrì păstrează experții pe disc și îi aduce în memoria de lucru la nevoie. Un expert deja disponibil în cache poate fi refolosit fără aceeași citire din SSD. Când cererile activează experți diferiți, motorul încarcă alte date. Un răspuns obținut după repetarea aceleiași întrebări trebuie separat de o conversație cu întrebări variate.

Pachetul de referință verificat este GLM-5.2 în format int4 cu grupuri de 64 și componentă MTP int8. Dimensiunile fișierelor publicate însumează 429.276.220.139 de octeți: aproximativ 429,3 GB sau 399,8 GiB. Diferența dintre GB și GiB explică o parte dintre valorile aparent contradictorii afișate de sisteme și pagini de descărcare.

Cuantizarea reduce precizia numerică și dimensiunea ponderilor. Alegerea unui alt format schimbă comparația: un fișier mai mic, comprimat mai agresiv, trebuie evaluat ca variantă distinctă. Mutarea acelorași ponderi între SSD și RAM privește plasarea datelor; cuantizarea privește reprezentarea lor numerică. Numărul total de parametri, singur, nu descrie calitatea răspunsurilor.

Ce permite configurația ASUS Zenbook Duo verificată

Inventar local din 16 noiembrie 2026
Element Valoare citită Implicație practică
Procesor Intel Core Ultra 9 185H; 16 nuclee, 22 procesoare logice Configurație pentru o probă CPU; numărul optim de fire se stabilește prin măsurare.
Memorie 32 GB instalați; aproximativ 9,3 GiB disponibili la inventariere Înaintea testului se eliberează memorie și se verifică presiunea asupra RAM.
Grafică Intel Arc integrată Proba CPU exclude accelerarea grafică. Grafica integrată utilizează memorie partajată.
SSD WD PC SN740 NVMe, aproximativ 2 TB Capacitatea este cunoscută; debitul pentru accesul la experți necesită un test separat.
Spațiu liber C: aproximativ 143 GB; F: aproximativ 832 GB Pachetul de 429 GB încape pe F:. C: are spațiu insuficient pentru el.
Sistem Windows 11 Pro, 64 de biți Pentru această configurație alegem inițial executarea nativă în Windows.

C: și F: sunt partiții ale aceluiași SSD fizic. Mutarea modelului pe F: rezolvă alocarea spațiului, dar nu creează un al doilea dispozitiv care să lucreze independent. Activitatea Windows și accesul la model folosesc același SSD.

După o singură copie a pachetului mare, din cei aproximativ 832 GB liberi pe F: ar rămâne circa 403 GB, înaintea altor fișiere și operații. Planul păstrează o singură copie a modelului. Memoria liberă de la inventariere reflectă aplicațiile deschise în acel moment, nu întreaga capacitate instalată.

Cum s-ar împărți spațiul liber de pe F:

429 GB · pachetul GLM-5.2

403 GB · spațiu rămas

Alocare proiectată din spațiul liber citit la 16 noiembrie 2026, înaintea descărcării; valori în GB zecimali.

Ce arată măsurătorile publicate de proiectul Colibrì

Documentația proiectului consemnează o configurație de referință cu WSL2, 12 nuclee, 25 GB RAM și acces la NVMe printr-un disc virtual VHDX. Pentru generarea cu cache rece, intervalul publicat este de aproximativ 0,05–0,1 tokeni pe secundă. Aceste valori aparțin sistemului descris de dezvoltatori și nu sunt măsurători pe Zenbook.

La acel ritm, generarea a 200 de tokeni ar dura aritmetic aproximativ 33–67 de minute. Calculul privește numai generarea; procesarea cererii și eventualii tokeni de raționament adaugă timp. Pornirea motorului, primul token și încheierea răspunsului sunt trei momente diferite, care trebuie măsurate separat.

Capacitatea SSD-ului din laptop nu poate fi transformată într-o estimare de viteză. Accesul la experți diferă de copierea unui fișier mare, iar rata citirilor depinde de cache și de tiparul cererilor. Pentru o evaluare utilă păstrăm versiunea motorului, formatul modelului și starea cache-ului lângă fiecare rezultat.

Comparația practică: un model de 8B și GLM-5.2

Pentru prima probă alegem Qwen3-8B, varianta GGUF Q4_K_M publicată de echipa Qwen. Fișierul are aproximativ 5,03 GB și poate încăpea integral în RAM pe această configurație, cu memorie suplimentară pentru context și motor. Este un reper accesibil pentru evaluare, fără a-l prezenta drept cel mai performant model disponibil.

Modelul mic poate fi executat cu llama.cpp, iar GLM-5.2 cu Colibrì. Comparăm astfel două soluții complete pentru aceeași activitate. Diferențele rezultate pot proveni din model, cuantizare și motor, deci testul nu izolează efectul numărului de parametri. Ambele probe folosesc inițial CPU și aceeași mașină.

Configurații propuse; rezultate de performanță nemăsurate
Criteriu Qwen3-8B Q4_K_M GLM-5.2 int4 gs64 + MTP int8
Motor llama.cpp, CPU Colibrì, CPU
Fișierele modelului Aproximativ 5,03 GB Aproximativ 429,3 GB
Plasarea ponderilor Pot încăpea integral în RAM Experți pe SSD, cache limitat în RAM
Prima întrebare de evaluat Rezolvă corect sarcinile uzuale ale firmei? Aduce un avantaj de calitate care justifică timpul măsurat?
Viteză pe acest ASUS De măsurat De măsurat

Ordinea instalării și a probelor pe Windows

Începem cu modelul mic, o singură sesiune și un context de 4.096 de tokeni ales pentru probă. Fixăm versiunea llama.cpp și fișierul Q4_K_M, folosim calea locală a modelului și dezactivăm offload-ul pe GPU. După eliberarea memoriei, înregistrăm consumul efectiv, timpul până la primul token și durata răspunsului complet.

Experimentul mare folosește o instalare separată Colibrì, pornind de la ediția documentată v2.1.0 și de la pachetul GLM-5.2 identificat exact. Directorul modelului este ales pe F: înaintea descărcării. Configurarea selectează explicit modelul și backendul CPU: meniul automat poate recomanda un model mai mic, în funcție de resursele detectate.

Înaintea pornirii, verificăm configurația recunoscută de motor și plasarea datelor. Prima probă GLM este limitată la 32 de tokeni noi și la 15 minute de execuție, ca buget ales pentru acest experiment. O rulare întreruptă la limită este consemnată ca atare. Testele lungi de calitate se fac ulterior, dacă durata probei scurte este acceptabilă pentru activitatea urmărită.

Contextul și modul de raționament sunt consemnate pentru fiecare model. Limita de generare include și eventualii tokeni de raționament, conform comportamentului motorului. Pentru folosire offline, fișierele trebuie să fie deja locale, iar cererile către servicii opționale, căutare sau alte mașini sunt excluse din proba respectivă. Confirmăm comportamentul printr-o rulare cu accesul extern oprit.

O femeie lucrează la un laptop într-un birou
Mikhail Nilov

Cum evaluăm utilitatea pentru o firmă

Folosim cereri demonstrative cu răspuns verificabil: extragerea produselor dintr-o solicitare, identificarea stocurilor sub un prag dat, rezumarea unui mesaj și redactarea unui răspuns comercial bazat exclusiv pe condițiile furnizate. Păstrăm aceleași informații de intrare pentru ambele modele. Datele demonstrative nu provin de la clienți.

De exemplu, pentru stocurile A = 12, B = 3 și C = 0, cererea „indică produsele cu mai puțin de patru unități” trebuie să întoarcă B și C, cu valorile corecte. Un răspuns fluent care schimbă pragul sau inventează termene de reaprovizionare este greșit pentru această sarcină. Separăm astfel corectitudinea faptelor de impresia produsă de formulare.

De la probă tehnică la decizie de lucru

  1. CERERE FIXĂ

    Aceleași informații

    Un set de sarcini și răspunsuri așteptate, stabilite înainte de rulare.

  2. MĂSURARE

    Timp și resurse

    Primul token, durata completă, memoria și accesul la disc, cu starea cache-ului precizată.

  3. VERIFICARE

    Rezultat utilizabil

    Fapte corecte, condiții respectate și corecturi umane consemnate.

Înregistrăm separat prima cerere după pornire, repetarea ei și un set cu întrebări diferite. Un proces nou poate beneficia încă de cache-ul Windows; îl numim „cache rece” numai când procedura folosită justifică această etichetă. La repetări raportăm mediana și variația, împreună cu erorile sau întreruperile.

Pentru o activitate interactivă, timpul până la răspuns contează direct. Pentru o prelucrare de fundal contează și câte documente pot fi terminate în intervalul de lucru disponibil. În ambele situații, selecția pornește de la răspunsurile acceptate și timpul total, inclusiv verificarea și corectarea de către un om. Un model mare devine o opțiune utilă atunci când avantajul măsurat corespunde sarcinii firmei.

WebHat folosește un sistem AI local personalizat și oferă consultanță pentru alegerea configurației și adaptarea AI la activitatea firmei. Prin aplicații custom cu integrare AI, modelul ales poate fi conectat la fluxuri de documente sau operațiuni interne, cu cereri și rezultate definite pentru activitatea respectivă. În acest ghid, configurația laptopului este inventariată, iar fișa de comparație este pregătită pentru măsurători.