Ce calculator alegi pentru AI local: configurații pentru firme

Calculatorul pentru AI local se alege pornind de la operațiunea pe care trebuie să o termine: căutarea unei proceduri, pregătirea unui răspuns comercial, extragerea câmpurilor dintr-un PDF sau asistarea programării. Modelul, memoria și numărul de cereri simultane formează aceeași decizie. Pentru un antreprenor, o configurație utilă este una pe care echipa o poate administra, testa și folosi zilnic.

Ce cumperi, de fapt, pentru un sistem AI local

Un sistem complet cuprinde calculatorul, modelul descărcat, motorul care îl execută, interfața și spațiul pentru documente. Într-o aplicație cu căutare se adaugă procesarea fișierelor și indexul documentelor. Fiecare componentă consumă resurse. Memoria disponibilă imediat după pornirea unui calculator gol nu este memoria rămasă într-o zi de lucru, cu browser, documente și aplicații deschise.

Reperul de aproximativ 10.000 de euro poate organiza analiza pentru o firmă obișnuită. Bugetul concret se stabilește după procesul ales și poate începe prin reutilizarea unui PC. În oferta de achiziție se separă echipamentele, instalarea, integrarea, TVA-ul și serviciile recurente. Astfel, două propuneri devin comparabile fără a amesteca prețul calculatorului cu dezvoltarea unei aplicații.

Profilul de început: verifică întâi calculatorul existent

Pentru un pilot individual propunem verificarea unui calculator cu 32 GB RAM, SSD și sistem de operare încă susținut de furnizor. Un model mic, precum Ministral 3 în varianta 3B cuantizată, permite organizarea primei probe pe date demonstrative. Rularea pe CPU este o opțiune a motoarelor compatibile; timpul de răspuns se măsoară pe acel calculator, cu fișierele și cererile reprezentative.

Fișa pilotului consemnează procesorul, memoria liberă, modelul exact, contextul și durata unei sarcini complete. Dacă o cerere durează prea mult, identificăm întâi etapa: citirea PDF-ului, indexarea, încărcarea modelului sau generarea. O placă video suplimentară ajută etapa accelerată de ea; un PDF procesat incorect cere corectarea extragerii și a fluxului documentelor.

O stație extensibilă cu GPU dedicat

Un profil concret pentru cererea de ofertă este Ryzen 9 7900, placă de bază AM5 cu chipset B650, 64 GB DDR5 în două module compatibile, SSD NVMe de 2 TB și GeForce RTX 5070 Ti de 16 GB. Completăm lista cu sursă ATX de 850 W, răcire potrivită procesorului și carcasă care acceptă dimensiunile exacte ale plăcii video. Este o specificație de proiectare; integratorul verifică BIOS-ul, lista de memorii și conexiunile sursei înaintea livrării.

AMD documentează procesorul cu 12 nuclee, 24 de fire și TDP de 65 W. NVIDIA specifică 16 GB GDDR7 pentru RTX 5070 Ti și o putere GPU de 300 W. Aceste valori descriu componentele; consumul întregii stații se măsoară la priză. Pentru prima probă alegem un model instruct de 8B, context controlat și o cerere activă, apoi măsurăm extinderea configurației.

Când merită memoria unificată

Calculatoarele bazate pe Ryzen AI Max+ 395 reprezintă o altă arhitectură. Un profil compact cu 128 GB de memorie unificată și SSD de 2 TB oferă un spațiu comun procesorului și graficii integrate. Framework și alți producători documentează astfel de sisteme pentru inferență locală. Se verifică separat sistemul de operare, motorul, backendul și versiunea care susține modelul selectat.

Din memoria totală rezervăm resurse pentru sistem, interfață, documente și context. Lățimea de bandă și implementarea motorului influențează viteza, astfel încât o capacitate mare de memorie nu este o măsură directă a timpului de răspuns. Acest profil merită evaluat pentru modele cuantizate mai mari, precum Qwen3.8-27B, atunci când sarcina justifică diferența față de un model mic.

Fișierul modelului este doar o parte din bugetul memoriei

Ponderile ocupă spațiul propriu al modelului. Peste ele apar structurile motorului, memoria de lucru, cache-ul contextului și eventual procesarea imaginilor. Creșterea contextului sau a paralelismului schimbă necesarul chiar dacă fișierul descărcat rămâne identic. În fișa configurației păstrăm împreună tagul modelului, cuantizarea, contextul și numărul de cereri active.

Ollama permite verificarea distribuției CPU/GPU și a contextului prin ollama ps. Pornim cu un context moderat, potrivit probei, apoi îl creștem numai pentru documentele care îl cer. Pentru o procedură scurtă, încărcarea întregii arhive în conversație consumă inutil memoria; căutarea locală poate selecta pasajele necesare înaintea generării răspunsului.

SSD, alimentare, răcire și backup

Un SSD de 2 TB oferă un punct de pornire pentru sistem, câteva variante de modele și fișierele pilotului. Volumul arhivei și păstrarea versiunilor stabilesc capacitatea finală. Modelele se pot descărca din nou; configurațiile, documentele aprobate și indexurile reconstruibile au politici de protecție distincte. Copia de siguranță se păstrează pe un dispozitiv separat și se testează restaurarea.

Alegem răcirea și amplasarea pentru utilizarea reală la birou. Temperatura susținută, zgomotul și aerisirea afectează confortul și funcționarea. Un UPS se dimensionează după puterea măsurată și timpul necesar opririi controlate. Puterea înscrisă pe sursă reprezintă capacitatea ei, nu consumul permanent și nici factura lunară a sistemului.

Cere o probă de recepție, nu doar o listă de componente

În cererea de ofertă includem o probă cu modelul, contextul și documentele stabilite. Măsurăm pornirea la rece, a doua cerere cu modelul încărcat, timpul până la primul răspuns și durata rezultatului complet. Pentru o echipă se repetă proba cu cereri simultane. Rezultatele păstrează versiunile software și condițiile de test, astfel încât comparația să poată fi repetată.

WebHat folosește un sistem AI local personalizat și oferă consultanță pentru alegerea configurației și adaptarea AI la activitatea firmei. Analiza poate fi legată de o aplicație custom cu integrare AI, cu datele, interfața și criteriile de recepție stabilite înaintea achiziției. Pentru sarcini bine delimitate, merită analizate și modelele lingvistice mici pentru firme.

Întrebări despre configurațiile pentru AI local

Trebuie cheltuit întregul buget de 10.000 de euro?

Bugetul este orientativ. Un pilot pe calculatorul existent stabilește cerințele, iar investiția se dimensionează pentru procesul și echipa care vor folosi sistemul.

Pot aduna automat memoria a două plăci video?

Distribuirea unui model pe mai multe GPU-uri cere suport explicit în motor, model și configurație. Fișa tehnică trebuie să descrie această distribuire și să includă testul rezultat.

Ce înseamnă 128 GB memorie unificată?

Procesorul și grafica folosesc același spațiu de memorie. Din total se scad resursele sistemului și aplicațiilor, iar viteza se verifică separat de capacitate.

Ce trebuie să primesc la finalul instalării?

Lista echipamentelor, versiunile, modelele, setările de context, accesul administrativ, rezultatele probei și procedura de backup și restaurare.