Gradium a publicat pe 5 noiembrie o prezentare tehnică a Phonon, familia sa de modele care transformă textul în vorbire pe dispozitivul utilizatorului. Ponderile fuseseră lansate pe 20 octombrie. Materialul din noiembrie descrie motoarele de execuție, diferențele dintre variante și evaluările de viteză și inteligibilitate. Generarea se poate face offline, inclusiv într-un browser compatibil, după ce aplicația are fișierele necesare modelului și vocii.
Ce limbi și licențe are familia Phonon
Phonon 31m are 31 de milioane de parametri și sintetizează vorbire în engleză. Fișa modelului listează un fișier de ponderi la opt biți de 64,5 MB și licența Apache 2.0, care permite folosirea comercială în condițiile sale. Phonon 40m multilingv folosește un singur set de ponderi pentru engleză, franceză, germană, spaniolă și portugheză. Fișierul său în același format are 74,6 MB. Gradium oferă și variante 40m specializate pentru fiecare dintre cele cinci limbi.
Variantele 40m sunt publicate sub licența CC BY-NC 4.0, pentru utilizare necomercială. Pentru un produs comercial care folosește una dintre aceste variante, Gradium oferă o licențiere separată. Accesul la fișierele modelului multilingv prin depozitul public cere acceptarea condițiilor din cont. Pentru o aplicație destinată unei firme din România, limba de lucru este un criteriu de selecție. Lista modelului multilingv cuprinde cele cinci limbi de mai sus, iar româna lipsește din acoperirea documentată.
Dimensiunile publicate se referă la fișierele de ponderi cuantizate. O aplicație include și motorul care execută modelul, componentele care pregătesc textul, fișierul sau fișierele de voce și memoria necesară în timpul generării. Gradium descrie ieșirea audio ca mono, la 24 kHz. Pentru o aplicație care distribuie modelul direct în browser, dimensiunea descărcată la prima utilizare și posibilitatea de a păstra fișierele pe dispozitiv influențează experiența separată de redarea ulterioară.
Cum începe redarea înainte ca fraza să fie generată complet
Phonon este un model de sinteză vocală. Primește text și produce sunet, iar recunoașterea vocii sau traducerea pot fi adăugate prin alte componente ale unei aplicații. Modelul produce reprezentări audio intermediare în cadre succesive. Un decodor le transformă în sunet redabil. Motorul poate trimite fragmentele de sunet pe măsură ce le generează, astfel încât redarea să înceapă în timp ce restul intrării este încă procesat.
În documentația motorului propriu, Gradium descrie normalizarea textului înainte de sinteză. Numerele, datele, monedele și alte simboluri sunt pregătite pentru pronunție, în funcție de limba aleasă. Formatul este relevant pentru mesaje de stare, instrucțiuni sau redarea conținutului unei aplicații, unde un număr de comandă și o dată calendaristică au reguli diferite de citire. Implementarea de referință din Transformers are un traseu diferit de preprocesare, descris separat în fișa modelului.
Rulare pe procesor, accelerator sau în browser
Gradium a dezvoltat motorul ptts pentru rulare pe mai multe tipuri de echipament. Printre opțiunile documentate se află procesorul pe Intel și Arm, WebAssembly, accelerarea grafică prin CUDA, Vulkan, Metal ori WebGPU și opțiuni de accelerare neuronală prin Apple Core ML și Snapdragon. Disponibilitatea fiecărei căi depinde de sistem și de pachetul ales. Demonstrația din browser arată cum poate fi redat sunetul în fila utilizatorului, cu generarea efectuată pe dispozitiv.
Implementarea de referință în PyTorch este disponibilă în biblioteca Transformers începând cu versiunea 5.21, potrivit prezentării tehnice. Gradium o descrie ca opțiune pentru generarea pe GPU în loturi, în timp ce motorul propriu urmărește redarea unui flux individual pe dispozitiv. Distincția contează pentru o firmă care compară un instrument intern ce pregătește multe fișiere audio cu o aplicație interactivă ce trebuie să înceapă redarea imediat ce utilizatorul cere o frază.
Pentru vocile incluse, aplicația poate folosi fișierele păstrate local. Gradium oferă separat un serviciu online pentru proiectarea vocilor personalizate. După obținerea și includerea unei voci potrivite, redarea locală folosește modelul și vocea disponibile în aplicație. Pentru o aplicație web, modul offline presupune și ca pagina și resursele ei necesare să fie deja disponibile pe dispozitiv. Modul în care o aplicație își păstrează propriile date rămâne o decizie de implementare.
Fișa modelului descrie aplicații de accesibilitate, asistenți locali și redarea de instrucțiuni. În aceste fluxuri, textul poate proveni din pagina afișată sau dintr-o aplicație internă, iar Phonon asigură etapa de redare. Pentru o aplicație care citește documente lungi, documentația precizează că intrările sunt împărțite în propoziții. Modelul generează succesiv fiecare segment, cu intonația stabilită la nivelul segmentului.
Ce au măsurat evaluările publicate
În raportul tehnic, Gradium discută evaluările din Open TTS Leaderboard pentru inteligibilitate, viteză și naturalețe. Inteligibilitatea urmărește cât de fidel pot fi recunoscute cuvintele rostite. Timpul până la primul fragment audio arată când poate începe redarea. Viteza raportată la durata sunetului răspunde unei alte întrebări, cea a ritmului de generare după pornire. Gradium raportează poziții de vârf pentru germană și spaniolă la inteligibilitate și pentru timpul până la primul sunet în testul de streaming pe procesor.
Aceste rezultate au la bază modelele, limbile, vocile și seturile de propoziții folosite în evaluare. Într-o aplicație, durata de la apăsarea butonului până la redare include și pornirea motorului, încărcarea vocii și pregătirea textului. O stație care are deja modelul în memorie și un browser care deschide funcția pentru prima dată au timpi de pornire diferiți. Documentația permite identificarea fiecărei etape în fluxul de redare.
