OpenAI a lansat la 16 octombrie prompt-to-voice, o funcție prin care dezvoltatorii creează o voce pentru GPT-Live pornind de la o descriere scrisă. Accesul este disponibil tuturor clienților API, iar vocea poate fi realizată prin interfața de testare sau printr-o cerere către API. Conform informațiilor OpenAI, crearea unei astfel de voci este gratuită, în timp ce conversațiile care o folosesc sunt facturate la tarifele obișnuite ale sesiunilor GPT-Live.
Funcția se adresează aplicațiilor care folosesc interacțiuni vocale și permite păstrarea unei identități sonore în sesiuni diferite. Dezvoltatorul descrie caracteristicile vocii, primește un identificator și îl utilizează ulterior în aplicație. Documentația publicată pentru această metodă precizează că nu este necesară o înregistrare de referință sau o înregistrare de consimțământ. Aceste materiale sunt cerute pentru un alt flux, cel care pornește de la vocea unei persoane.
Descrierea vocii stabilește caracteristicile sonore
Printre caracteristicile care pot fi descrise se află accentul, vârsta percepută a unei voci adulte, înălțimea, timbrul, textura și ritmul vorbirii. Acestea sunt formulate în limbaj obișnuit în textul solicitării. OpenAI le prezintă drept calități care trebuie descrise, nu drept parametri numerici separați pentru fiecare proprietate. Instrucțiunile referitoare la durata răspunsurilor și comportamentul conversației aparțin configurației sesiunii.
La creare poate fi furnizat și un scurt text reprezentativ, de maximum 2.000 de caractere, pentru orientarea generării vocii. Dacă acesta lipsește, serviciul produce un text pornind de la descriere. Cererile reușite salvează o voce nouă și returnează metadate, inclusiv identificatorul, momentul creării și descrierea inițială. Răspunsul cererii de creare nu include un fișier audio de previzualizare.
Limita documentată este de 100 de voci generate din descrieri pentru fiecare organizație. Același plafon se aplică atunci când o aplicație creează voci pentru propriii clienți. Identificatorul unei voci salvate poate fi reutilizat în alte sesiuni, fără o nouă generare. Ascultarea rezultatului în interfața Playground pornește o sesiune GPT-Live, facturată în condițiile obișnuite ale serviciului.
Compatibilitatea este stabilită pentru GPT-Live
Vocile generate din text sunt compatibile cu GPT-Live. Documentația exclude folosirea lor în Text to Speech API, Realtime API și Chat Completions API. Într-o sesiune GPT-Live, vocea este aleasă la început, iar schimbarea ei presupune pornirea unei sesiuni noi. OpenAI recomandă păstrarea descrierii originale alături de instrucțiunile aplicației, pentru configurarea comportamentului vocal.
GPT-Live gestionează conversația vorbită, inclusiv ascultarea în timp ce răspunde, iar un sistem separat poate efectua căutări, utiliza instrumente și executa sarcini. Aplicația stabilește permisiunile și controlează operațiunile asupra datelor firmei. Această arhitectură permite conectarea unei interfețe vocale la fluxuri existente, cum ar fi verificarea unei comenzi ori consultarea unei rezervări, atunci când dezvoltatorul a implementat funcțiile necesare în sistemul din spate.
Conexiunile GPT-Live pot utiliza WebRTC, WebSockets sau integrarea pentru telefonie și SIP. În cazul interacțiunii din browser, documentația cere acces la microfon, o pagină servită prin HTTPS sau localhost și un server de încredere care păstrează cheia API. Vocea personalizată este aleasă în configurația inițială a sesiunii, alături de model și modul de delegare a sarcinilor.
În documentația pentru agenți vocali, OpenAI separă instrucțiunile conversației de regulile operaționale ale aplicației. Modelul vocal primește rolul, stilul și condițiile în care solicită ajutorul sistemului din spate. Procedurile de lucru și instrumentele aparțin acelui sistem. Pentru o rezervare, confirmarea verbală trebuie să reflecte rezultatul operațiunii efectiv executate, iar aplicația rămâne responsabilă de autorizarea schimbărilor.
Întreruperea răspunsului vorbit și anularea unei operațiuni sunt tratate separat în această arhitectură. Utilizatorul poate continua să vorbească în timp ce sistemul din spate lucrează. Aplicația decide dacă operațiunea continuă sau este anulată și transmite rezultatul pentru răspunsul vocal.
Acces diferit pentru vocile create din înregistrări
Fluxul bazat pe o înregistrare rămâne disponibil clienților eligibili cărora li se activează accesul corespunzător. Acesta solicită două materiale: înregistrarea consimțământului persoanei și o mostră a aceleiași voci. Vocea creată pe această cale poate fi folosită în GPT-Live și în celelalte interfețe audio enumerate de OpenAI. Disponibilitatea generală anunțată acum privește metoda bazată pe descriere, cu propriile limite și compatibilități.
Regulile pentru prompt-to-voice prevăd folosirea vocilor adulte, informarea ascultătorului că vorbirea este generată cu AI și păstrarea indicatorilor de proveniență sintetică. Solicitările trebuie să descrie calități vocale, fără imitarea unei persoane nominalizate, a unei persoane publice sau a unui personaj. Aceste condiții fac parte din funcția de creare a vocii și sunt distincte de regulile comerciale pe care o firmă le implementează în propriul asistent.
Crearea vocilor, inclusiv a celor pornite din înregistrări, nu este compatibilă cu Zero Data Retention. Generarea vorbirii în GPT-Live este eligibilă pentru această opțiune când ea este activată pentru organizație sau proiect. În condițiile Zero Data Retention, înregistrările de sesiune stocate, descărcarea lor și reluarea prin ramificarea unei sesiuni salvate sunt indisponibile, conform documentației OpenAI.
Nouă voci suplimentare și facturare pe sesiune
Actualizarea din 16 octombrie adaugă și nouă voci predefinite: Nuri, Juni și Flitz pentru germană; Brise și Sillage pentru franceză; Nira pentru hindi; Harema și Shida pentru japoneză; Noeul pentru coreeană. Lista anunțată cuprinde aceste cinci limbi. Alegerea unei voci predefinite și generarea uneia din descriere sunt două opțiuni separate în configurarea interfeței vocale.
GPT-Live facturează sesiunile vocale în funcție de durată, calculată pe secundă, iar utilizarea modelului și a instrumentelor din sistemul din spate este facturată separat. Pentru aplicațiile cu integrare AI, această separare delimitează costul conversației de costul operațiunilor executate. Noul anunț stabilește gratuitatea creării vocii din descriere; previzualizarea și utilizarea acesteia în conversații rămân sesiuni de serviciu facturabile.
