A Microsoft új beszédgenerátora olyan fejlett, hogy nem merik kiadni a nyilvánosságnak

A Microsoft kifejlesztett egy új mesterséges intelligencia (MI) beszédgenerátort, amely látszólag annyira meggyőző, hogy nem hozható nyilván...

Magyar kutatók szerint a kutyák nem úgy értik az emberi beszédet, ahogy mi gondoljuk

Az emberi nyelvhez szükséges agyi hálózat 20 millió évvel korábban jelenhetett meg, mint azt korábban gondolták

Vannak emberek, akik megdöbbennek azon, hogy másoknak nincs belső monológjuk - Te melyik csoportba tartozol?

A Microsoft kifejlesztett egy új mesterséges intelligencia (MI) beszédgenerátort, amely látszólag annyira meggyőző, hogy nem hozható nyilvánosságra.

A VALL-E 2 egy szövegfelolvasó (TTS) generátor, amely néhány másodpercnyi hang felhasználásával képes reprodukálni az emberi beszédet.

A Microsoft kutatói szerint a VALL-E 2 képes "pontos, természetes beszédet generálni az eredeti beszélő pontos hangján, hasonlóan az emberi teljesítményhez" amelyről június 17-én jelent meg egy tanulmány az arXiv portálon. (1) Más szavakkal, az új MI hanggenerátor elég meggyőző ahhoz, hogy összetévesszék egy valódi személlyel - legalábbis alkotói szerint.

"A VALL-E 2 a neurális kodek nyelvi modellek legújabb fejlesztése, amely mérföldkövet jelent a nullapontos szövegfelolvasó szintézisben (TTS), és most először sikerült elérni az emberi paritást," - írták a kutatók a tanulmányban. "Sőt, a VALL-E 2 folyamatosan kiváló minőségű beszédet szintetizál, még olyan mondatok esetében is, amelyek összetettségük vagy ismétlődő kifejezéseik miatt hagyományosan kihívást jelentenek."

Az emberi paritás ebben az összefüggésben azt jelenti, hogy a VALL-E 2 által generált beszéd megegyezett vagy meghaladta az emberi beszéd minőségét a Microsoft által használt referenciaértékekben.

Az MI motor képes erre, mivel két kulcsfontosságú funkciót tartalmaz: "Ismétléstudatos mintavételezés" és "Csoportos kódmodellezés".

Az ismétléstudatos mintavételezés javítja azt a módot, ahogyan az MI a szöveget beszéddé alakítja azáltal, hogy kezeli a "tokenek" - kis nyelvi egységek, például szavak vagy szórészek - ismétléseit, megakadályozva a hangok vagy kifejezések végtelen hurkát a dekódolási folyamat során. Más szóval, ez a funkció segít megváltoztatni a VALL-E 2 beszédmintáját, így folyékonyabbá és természetesebbé válik.

A csoportos kódmodellezés eközben javítja a hatékonyságot azáltal, hogy csökkenti a szekvencia hosszát - vagy az egyes tokenek számát, amelyeket a modell egyetlen bemeneti szekvenciában dolgoz fel. Ez felgyorsítja a VALL-E 2 beszédgenerálásának sebességét, és segít kezelni a hosszú hangsorok feldolgozásával járó nehézségeket.

A kutatók a LibriSpeech és a VCTK beszédkönyvtárakból származó hangmintákat használtak annak felmérésére, hogy a VALL-E 2 mennyire egyezik az emberi beszélőkről készült felvételekkel. Az ELLA-V-t - a generált beszéd pontosságának és minőségének mérésére tervezett értékelési keretrendszert - is használták annak meghatározására, hogy a VALL-E 2 mennyire hatékonyan kezelte az összetettebb beszédgenerálási feladatokat.

"A LibriSpeech és VCTK adatkészleteken végzett kísérleteink kimutatták, hogy a VALL-E 2 felülmúlja a korábbi nullapontos TTS rendszereket a beszéd robusztusságában, természetességében és a beszélő hasonlóságában," - írták a kutatók. "Ez az első a maga nemében, amely elérte az emberi egyenlőséget ezeken a referenciaértékeken."

A kutatók rámutattak a tanulmányban, hogy a VALL-E 2 kimenetének minősége függ a beszédüzenetek hosszától és minőségétől, valamint olyan környezeti tényezőktől, mint a háttérzaj.

"Tisztán kutatási projekt"

Képességei ellenére a Microsoft nem fogja nyilvánosságra hozni a VALL-E 2-t a lehetséges visszaélési kockázatok miatt. Ez egybeesik a hangklónozással és a deepfake technológiával kapcsolatos növekvő aggodalmakkal. Más MI-vállalatok, mint például az OpenAI, hasonló korlátozásokat vezettek be hangtechnikájukra.

"A VALL-E 2 tisztán kutatási projekt. Jelenleg nem tervezzük a VALL-E 2 beépítését egy termékbe, vagy a nyilvánosság hozzáférésének bővítését," - írták a kutatók egy blogbejegyzésben. "Potenciális kockázatokat hordozhat magában a modellel való visszaélés, például a hangazonosítás meghamisítása vagy egy adott beszélő megszemélyesítése."

Ennek ellenére azt sugallták, hogy az MI beszédtechnológia gyakorlati alkalmazásokat szülhet a jövőben. "A VALL-E 2 képes olyan beszédet szintetizálni, amely fenntartja a beszélő identitását, és felhasználható oktatásra, szórakoztatásra, újságírói tevékenységre, saját készítésű tartalomra, akadálymentesítési funkciókra, interaktív hangválasz-rendszerekre, fordításra, chatbotra és így tovább," - tették hozzá a kutatók.

Így folytatták: "Ha a modellt a való világ láthatatlan beszélőire általánosítják, tartalmaznia kell egy protokollt, amely biztosítja, hogy a beszélő jóváhagyja a hangjuk használatát, valamint egy szintetizált beszédészlelési modellt." (2)

(1) - https://arxiv.org/pdf/2406.05370
(2) - https://www.livescience.com/technology/