Ali lahko streamer z umetno inteligenco govori v več jezikih hkrati

Kaj je nevronsko sinhroniziranje prenosa v živo

Nevronsko sinhroniziranje prevaja govor streamerja med prenosom in za gledalca ustvari dodatno zvočno različico v drugem jeziku. Sistem prejme zvok z mikrofona, prepozna povedano, prevede stavek in rezultat izgovori s sintetičnim glasom. Pri nekaterih rešitvah poskušajo glas narediti podoben glasu samega avtorja.

Streamer pri tem fizično ne začne govoriti v več jezikih. Med mikrofonom in gledalcem se pojavi programska veriga obdelave. Ta lahko deluje skoraj v realnem času, a izjave ne posreduje takoj: sistem mora počakati na del govora, ga prepoznati, poiskati prevod in sintetizirati nov stavek.

Zato je odgovor na vprašanje iz naslova tak: tehnično lahko ena oseba izvaja prenos za več jezikovnih občinstev, vendar to ne bo hkratni govor v živo v različnih jezikih. Gledalci bodo slišali različice iste izjave z zakasnitvijo, kakovost pa bo odvisna od mikrofona, tempa govora, izbrane storitve in načina izhoda.

Sinhroniziranje se od podnapisov razlikuje po načinu zaznavanja. Gledalcu ni treba nenehno preusmerjati pogleda z igre ali voditelja na besedilo. To je priročno pri igralnih prenosih, izobraževalnih prenosih in pogovornih formatih. Toda zvočna različica je bolj odvisna od zakasnitve, napak pri izgovorjavi, naravnosti intonacije in pravilnega usmerjanja zvoka.

Kako se govor spremeni v prevedeno zvočno sled

Najprej storitev prejme čist signal z mikrofona streamerja. Model za prepoznavanje pretvori zvok v besedilo, pri čemer lahko pretočni sistemi uporabijo vmesne rezultate še pred koncem stavka. Nato se besedilo pošlje v strojni prevajalnik. Ta izbere različico v želenem jeziku glede na razpoložljivi kontekst, nato pa sintetizator oblikuje nov zvočni stavek.

Pripravljeni zvok pride v izbrani izhodni kanal: v predvajalnik storitve, ločen zvočni tok, virtualno zvočno napravo ali program za pretakanje. Na tej stopnji je mogoče prilagajati glasnost, vklopiti in izklopiti sled, pošiljati različne jezike v različne prizore ali jih posredovati gledalcem prek predvidenega vmesnika.

Sistem lahko obdeluje govor v majhnih delih ali počaka na dokončanje smiselnega bloka. Manjši kot je del, nižje je potencialno čakanje, a večje je tveganje za prekinitve, napačen prevod in nenaravne premore. Pri daljših blokih prevod prejme več konteksta, a gledalec dlje čaka na konec misli.

Na rezultat vplivajo tempo govora, premori, kakovost mikrofona in število govorcev. Hitre izjave, smeh, kričanje, glasba, zvok igre in pogovor več udeležencev otežujejo prepoznavanje. Če v mikrofon pride že pripravljena prevedena sled, lahko ta znova vstopi v obdelavo in povzroči odmev ali zanko.

Od česa je odvisna zakasnitev sinhroniziranja

Zakasnitev je sestavljena iz več delov: prepoznavanja govora, strojnega prevajanja, sinteze glasu, prenosa zvoka in notranjega medpomnjenja storitve. Če sistem čaka na dokončanje stavka, se obdelavi pridruži še to čakanje. Pri več jezikih se operacije lahko izvajajo vzporedno, a obremenitev storitve in računalnika se vseeno poveča.

Zakasnitve ni mogoče oceniti le na podlagi predstavitve v brskalniku. V resničnem prenosu se ji pridružijo zajem zvoka v OBS, kodiranje, pošiljanje toka na platformo in čakanje pri gledalčevem predvajalniku. Pri dveh gledalcih se lahko isti prevod pojavi z razliko zaradi povezave, naprave in izbranega načina gledanja.

Ločeno merite zakasnitev obdelave in skupno zakasnitev do gledalca. Za prvi test posnemite izvirni mikrofon in izhod sinhroniziranja na ločene sledi. Izgovorite kratko označevalno besedo in hkrati plosknite ali kliknite. Na izvirnem posnetku poiščite ta trenutek, na prevedenem pa začetek obdelanega stavka. Preverjanje ponovite s kratkim stavkom, dolgo izjavo in hitrim odgovorom, ker ena meritev ne pokaže vedenja celotnega sistema.

Za popolno preverjanje odprite prenos na drugi napravi prek običajne gledalčeve povezave. V prizor lahko dodate velik števec ali drugo opazno vizualno oznako, posnamete njeno pojavitev v OBS in jo primerjate s trenutkom, ko je postala vidna oddaljenemu gledalcu. Tak test pokaže, koliko zakasnitev platforme spremeni vtis o sinhroniziranju.

Kako zakasnitev platforme spremeni format prenosa

Tudi pri majhni zakasnitvi nevronske mreže platforma za pretakanje doda lastno medpomnjenje. Način nizke zakasnitve običajno zmanjša čakanje, a ga ne odpravi popolnoma. Bolj previdni načini so lahko stabilnejši pri težavni povezavi, vendar bo prevod prihajal pozneje glede na sliko in izvirni govor.

Na Twitchu in YouTube je izid odvisen od izbranih parametrov prenosa, stanja omrežja, nastavitev kanala in vedenja konkretnega predvajalnika. Zato vnaprej določenega števila sekund ni mogoče šteti za univerzalnega za vse prenose. Twitch in YouTube preverjajte prav kot gledalec, ne le po lokalnem zvoku v OBS.

Če prevod zamuja pri mirni lekciji ali pregledu, je to lahko sprejemljivo: gledalec najprej vidi dogajanje, nato pa sliši razlago. V tekmovalni igri je zakasnitev bolj opazna po odzivu voditelja in dogodkih na zaslonu. V hitrem pogovoru s klepetom se lahko prevedeni govor že nanaša na temo, ki se je medtem zamenjala.

Pri opaznem zaostajanju je vredno zmanjšati velikost obdelanih delov, govoriti v kratkih stavkih in ne preobremenjevati prenosa s hkratnimi jeziki. Če to ne pomaga, so podnapisi ali ločen posnetek s prevodom morda priročnejši od stalnega glasovnega sinhroniziranja.

Katere rešitve ustrezajo streamerju

Pripravljenega orodja, ki bi bilo enako priročno za Twitch, YouTube in kateri koli drug način predvajanja, ni. Pred izbiro preverite ne le seznam jezikov in kakovost prevoda, temveč tudi način pridobivanja rezultata. Pomembno je vedeti, ali storitev oddaja zvok prek brskalnika, ločenega zvočnega toka, virtualne naprave ali API ter ali je mogoče sinhroniziranje ob napaki hitro izklopiti.

Pripravljene platforme za dogodke

Wordly in Interprefy AI sta usmerjena v prevajanje konferenc, spletnih dogodkov in nastopov. Tak pristop je priročen, če lahko gledalci jezikovno različico prejmejo prek vmesnika same storitve. Streamerju ni treba sam sestavljati prepoznavanja, prevajanja in sinteze, vendar mora vnaprej preveriti povezavo mikrofona, pretočni način, razpoložljive jezike in možnost pošiljanja pripravljenega zvoka v OBS.

Za igralni stream je treba posebej preizkusiti kratke izjave, prekinjanje, imena likov in pogovorni sleng. Dogodek s pripravljenim predavanjem in hiter prenos z odzivi sta različni nalogi. Pogoji shranjevanja zvoka, nabor funkcij in možnosti izhoda so odvisni od trenutnih parametrov konkretnega izdelka.

Oblakovne komponente za lastno shemo

Microsoft Azure Speech Translation je mogoče povezati s sintezo govora in vmesno aplikacijo. Podobno verigo je mogoče zgraditi iz Google Cloud Speech-to-Text, Cloud Translation in Text-to-Speech ali iz Amazon Transcribe, Translate in Polly. Takšne rešitve dajejo več nadzora nad slovarjem, čakalno vrsto obdelave in glasom, vendar zahtevajo tehnično nastavitev.

V lastni shemi je treba organizirati prenos zvoka, obdelavo delnih rezultatov, ponovne zahteve ob napaki in vrnitev sintetizirane sledi v prenos. Za začetnika je to prej majhen programski projekt kot pripravljen gumb. Če potrebujete hitro preverjanje ideje, je bolje začeti s pripravljeno platformo ali sestaviti test samo za en jezik.

OBS Studio in virtualno usmerjanje

OBS Studio je primeren kot središče za upravljanje prizorov in zvočnih virov, vendar program sam ne prevaja govora. Za prenos zvoka med storitvijo in OBS bodo morda potrebne virtualne zvočne naprave. V sistemu Windows se za to uporabljajo rešitve, kot je VB-CABLE, v sistemu macOS pa virtualne naprave, kot je BlackHole. Njihovo združljivost s konkretno storitvijo je treba preveriti posebej.

Kako organizirati več jezikovnih sledi

Prva možnost je en prenos z več zvočnimi sledmi, med katerimi gledalec preklaplja v predvajalniku. To je najbolj urejena shema: slika in dogodki ostanejo skupni, jezik pa se izbere ločeno. Vendar mora to možnost podpirati konkretna platforma, format prenosa, račun in način integracije. Notranja delitev sledi v OBS sama po sebi ne ustvari preklopnika jezika pri gledalcu.

Druga možnost je ločen prenos za vsak jezik. Za vsak prenos je mogoče pripraviti lasten naslov, opis, klepet in moderiranje. Shema je gledalcem razumljiva, vendar zahteva več tokov, dodatne vire in nadzor sinhronosti. Če se izvirni prenos prekine, se to hitro odrazi na vseh jezikovnih različicah.

Tretja možnost je glavni prenos v izvirnem jeziku in ločen jezikovni kanal ali zunanji predvajalnik s prevodom. Tak pristop ustreza, kadar platforma ne podpira več zvočnih sledi v želenem formatu. Gledalcu je treba dati jasno povezavo in razložiti, kje se vklopi prevod.

Četrta možnost so prevedeni posnetki, izrezki ali ločeni prenosi po zaključku prenosa. Živega pogovora v drugem jeziku tu ni, lahko pa preverite kakovost, popravite napake in ugotovite, ali je takšna različica za občinstvo zanimiva, ne da bi tvegali celoten prenos v živo.

Izvirnega in prevedenega glasu ne mešajte v enem kanalu, če gledalec ne more uravnavati ločeno. Sicer bo gledalec najprej slišal izvirni stavek, čez nekaj časa pa povrhu še prevod. Če platforma sprejme samo en miks, je varneje uporabiti ločen prenos ali zunanji jezikovni kanal.

Kako nastaviti izhod in nadzor v OBS

Najprej ločite izvirne vire. Vhod za prevajanje mora prejeti mikrofon streamerja, ne pa pripravljenega sinhroniziranja, glasbe in zvoka igre. Če storitev sprejme samo skupni miks, zanjo sestavite ločen zvočni izhod. V nasprotnem primeru lahko sistem prepoznava izjave likov, pesmi, obvestila in lastno sinhronizacijo.

Ko storitev oddaja prevod prek virtualne zvočne naprave, jo v OBS dodajte kot samostojen vir Audio Input Capture. Poimenujte ga razumljivo, na primer »Sinhroniziranje EN«, in ga brez potrebe ne združujte z izvirnim mikrofonom. Za vsak jezik je bolje uporabiti ločen vir ali ločen prizor, da hitro vidite, kateri signal je vklopljen.

Prevedeno sled je treba preveriti v slušalkah, ne prek zvočnikov ob mikrofonu. Zaprte slušalke ali skrbno nameščeni modeli v ušesih zmanjšajo tveganje, da bi sintetični glas znova prišel v mikrofon. Če se prevod predvaja iz zvočnikov, ga lahko mikrofon zajame skupaj z vašim govorom in ustvari odmev, ponovni prevod ali zanko.

V razširjenih lastnostih OBS brez potrebe ne vklopite stalnega spremljanja prevedene sledi v glavni izhod. Če je spremljanje potrebno za preverjanje, ga usmerite v slušalke in ga začasno vklopite le med testom. Prepričajte se, da je izbran ločen izhod in ne mikrofonni vhod. Po preverjanju poslušajte posnetek: lokalno je odmev lahko neviden, v pripravljenem prenosu pa bo očiten.

Za nadzor pripravite bližnjice ali gumbe za izklop sinhroniziranja. Streamer se mora hitro vrniti k izvirnemu mikrofonu, če storitev začne ponavljati zvok, prevajati igro namesto govora ali večkrat predvajati stavek. Koristno je imeti ločen prizor brez prevedene sledi in vnaprej preverjen rezervni mikrofonni signal.

Če OBS omogoča razporejanje virov po izhodnih sledeh, lahko na eni sledi pustite izvirni mikrofon in igro, na drugi pa prevedeni glas. Toda pred objavo je treba ugotoviti, katere sledi dejansko sprejme izbrana platforma. Včasih je gledalcu na voljo le končni miks, in takrat pošiljanje več sledi v OBS ne reši naloge.

Ali bo umetna inteligenca ohranila glas in čustva streamerja

Podobna barva glasu pomaga gledalcu hitreje sprejeti tujo različico, a ne zagotavlja popolne podobnosti. Glasovni model lahko prenese višino, barvo in splošni način govora. Veliko težje je poustvariti nenaden smeh, prestrašenost, sarkazem, šepet ali oster prehod iz mirnega govora v krik.

Prevajanje spremeni dolžino in ritem stavka. Kratka izjava v enem jeziku je lahko v drugem daljša, dobesedni prevod šale pa lahko izgubi smisel. Sintetizator mora znova razporediti premorice in intonacijo, vendar avtomatski sistem ne razume vedno, kdaj se streamer šali, citira lik ali se obrača na klepet.

V mirnem izobraževalnem prenosu je nevtralna sintetična sinhronizacija lahko sprejemljiva. V humoristični oddaji, čustveni igri ali pogovoru z gosti bodo razlike bolj opazne. Za takšne formate je koristno primerjati celotno sinhroniziranje s podnapisi in izbrati različico, ki bolje ohrani smisel in tempo pogovora.

Napake pri prevajanju in kakovost govora

Avtomatsko prevajanje slabše deluje z žargonom, memi, vzdevki in stavki, katerih smisel je odvisen od situacije. Ime igre ali predmeta je lahko razumljeno kot običajna beseda. Ime lika je včasih zamenjano s podobno zvenečo različico, kratka izjava brez konteksta pa dobi napačen pomen.

Pred zagonom pripravite slovar kanala: ime igre, imena udeležencev, vzdevke, imena rubrik, stalne fraze in izraze. Če ima storitev uporabniški slovar ali seznam izjem, te podatke vnesite vnaprej. To ne bo odpravilo vseh napak, bo pa pomagalo zmanjšati število ponavljajočih se napačnih različic.

Preverjajte ne le besedilni prevod, temveč tudi izgovorjavo. Govorec izbranega jezika lahko opazi napačen poudarek, nenaraven vrstni red besed ali izraz, ki v lokalnem kontekstu zveni žaljivo. Ena avtomatska preveritev ne zadostuje, zlasti če prenos temelji na humorju in pogovoru s klepetom.

Pri več udeležencih se doda težava ločevanja glasov. Če sovoditelji govorijo hkrati, lahko sistem združi izjave ali napačno določi govorca. Za intervju je bolje uporabiti ločene mikrofone in kanale, če izbrana rešitev podpira takšno shemo.

Klepet, moderiranje in obveščanje gledalcev

Prevajanje govora streamerja ne prevede samodejno sporočil gledalcev. Klepet lahko ostane v izvirnem jeziku, se obdeluje z ločenim orodjem ali prihaja z lastno zakasnitvijo. Pred zagonom občinstvu razložite, kako postavljati vprašanja in v katerem jeziku bo voditelj lahko odgovoril.

Če streamer bere le en jezikovni segment klepeta, se bodo drugi gledalci hitro počutili odveč. Pomagajo moderatorji, ki razumejo potrebne jezike, vnaprej pripravljeni pozdravi in kratko sporočilo o zakasnitvi avtomatskega sinhroniziranja. Pomembna sporočila je bolje preveriti pred odzivom, saj lahko tudi strojni prevod klepeta popači smisel.

Gledalcem je treba neposredno sporočiti, da se v prenosu uporablja avtomatski prevod ali sintetična sinhronizacija. Obvestilo je mogoče objaviti v opisu, pripetem sporočilu ali ga izgovoriti na začetku prenosa. To je še posebej pomembno, če je tuji glas podoben glasu streamerja in ga je mogoče zamenjati za resnični govor.

Če se za ustvarjanje glasovnega modela uporabljajo posnetki govora, preverite pogoje shranjevanja in obdelave podatkov. Brez dovoljenja ni dovoljeno ustvariti kopije glasu sovoditelja, gosta, igralca sinhronizacije ali druge osebe. Za skupne prenose se o uporabi glasu dogovorite vnaprej.

Kako preizkusiti sinhroniziranje pred prvim prenosom

Začnite z enim dodatnim jezikom in zaprtim prenosom. Preverite mirno razlago, hiter odziv v igri, šalo, ime igre, ime lika, smeh in odgovor na sporočilo iz klepeta. Ločeno zabeležite izpuste, spremembe smisla, napake v imenih in to, koliko se glas ujema s sliko.

Posnemite izvirno sled in izhod virtualne zvočne naprave ločeno. Uporabite kratko označevalno besedo skupaj s ploskom ali klikom, da izmerite zakasnitev po zvočni obliki. Nato isti material poslušajte pri oddaljenem gledalcu Twitcha ali YouTube. Tako boste ločili zakasnitev nevronske mreže od medpomnjenja platforme.

Prosíte govorca izbranega jezika, da oceni nekaj stavkov. Njegove pripombe naj se nanašajo na natančnost prevoda, naravnost izrazov, poudarke, imena, šale in žaljive formulacije. Nato popravite slovar in nastavitve ter ponovite test z istimi primeri.

Preverite scenarij v sili: izklopite storitev, izklopite virtualno napravo in se prepričajte, da gledalec še vedno sliši izvirni mikrofon. Posnemite test prek slušalk in zvočnika telefona, saj se prekrivanje, šumenje in preglasen sintetični glas na različnih napravah zaznavajo različno.

Zaključki: kako zagnati večjezično sinhroniziranje

1. Ugotovite, ali vaš format potrebuje glasovni prevod ali zadostujejo podnapisi.
2. Izberite en dodatni jezik in storitev s pretočno obdelavo, ne le s sinhroniziranjem pripravljenih datotek.
3. V OBS ločite mikrofon, igro, glasbo in prevod ter sinhroniziranje priključite prek ločenega zvočnega izhoda.
4. Uporabljajte slušalke in prevedenih zvočnikov ne usmerjajte v mikrofon, da se izognete odmevu in zanki.
5. Izmerite zakasnitev lokalno in ločeno preverite prenos prek gledalčeve povezave Twitch ali YouTube.
6. Prosíte govorca izbranega jezika, da preveri prevod, nastavite slovar in pripravite gumb za izklop sinhroniziranja.
7. Po zaprtem testu izberite več zvočnih sledi, ločene prenose, zunanji jezikovni kanal ali posnetke s prevodom.