Strimer süni intellektin köməyi ilə eyni anda bir neçə dildə danışa bilərmi

Canlı yayımın neyroşəbəkə dublajı nədir

Neyroşəbəkə dublajı translyasiya zamanı strimerin nitqini tərcümə edir və izləyici üçün başqa dildə əlavə audio versiya yaradır. Sistem mikrofondan səsi alır, deyiləni tanıyır, ifadəni tərcümə edir və nəticəni sintetik səslə səsləndirir. Bəzi həllərdə səsi müəllifin öz səsinə bənzətməyə çalışırlar.

Bu zaman strimer fiziki olaraq bir neçə dildə danışmağa başlamır. Mikrofonla izləyici arasında proqram emalı zənciri yaranır. O, demək olar ki, real vaxtda işləyə bilər, lakin replikanı dərhal ötürmür: sistem nitq fraqmentini gözləməli, onu tanımalı, tərcümə seçməli və yeni ifadəni sintez etməlidir.

Buna görə başlıqdakı sualın cavabı belədir: texniki olaraq bir nəfər bir neçə dilli auditoriya üçün yayım apara bilər, lakin bu, müxtəlif dillərdə eyni vaxtda canlı nitq olmayacaq. İzləyicilər eyni replikanın versiyalarını gecikmə ilə eşidəcəklər, keyfiyyət isə mikrofondan, nitq tempindən, seçilmiş xidmətdən və çıxış üsulundan asılı olacaq.

Dublaj subtitrlərdən qavrayış üsulu ilə fərqlənir. İzləyicinin baxışını daim oyundan və ya aparıcıdan mətnə yönəltməsinə ehtiyac yoxdur. Bu, oyun yayımlarında, təlim translyasiyalarında və söhbət formatlarında rahatdır. Lakin səs versiyası gecikmədən, tələffüz səhvlərindən, intonasiyanın təbiiliyindən və audionun düzgün marşrutlaşdırılmasından daha çox asılıdır.

Nitq necə tərcümə olunmuş audio trekə çevrilir

Əvvəlcə xidmət strimerin mikrofonundan təmiz siqnal alır. Tanıma modeli səsi mətnə çevirir, axın sistemləri isə ifadə bitməmişdən əvvəl aralıq nəticələrdən istifadə edə bilər. Sonra mətn maşın tərcüməçisinə ötürülür. O, mövcud konteksti nəzərə alaraq lazımi dildə variant seçir, bundan sonra sintezator yeni audio ifadə formalaşdırır.

Hazır səs seçilmiş çıxış kanalına daxil olur: xidmətin pleyerinə, ayrı audio axınına, virtual audio qurğusuna və ya striminq proqramına. Bu mərhələdə səsi tənzimləmək, treki aktivləşdirmək və söndürmək, müxtəlif dilləri müxtəlif səhnələrə göndərmək və ya nəzərdə tutulmuş interfeys vasitəsilə izləyicilərə ötürmək olar.

Sistem nitqi kiçik fraqmentlərlə emal edə və ya semantik blokun tamamlanmasını gözləyə bilər. Fraqment nə qədər kiçikdirsə, potensial gözləmə bir o qədər azdır, lakin kəsilmə, səhv tərcümə və qeyri-təbii pauzalar riski bir o qədər yüksəkdir. Daha uzun bloklarda tərcümə daha çox kontekst alır, amma izləyici fikrin tamamlanmasını daha uzun gözləyir.

Nəticəyə nitq tempi, pauzalar, mikrofonun keyfiyyəti və danışanların sayı təsir edir. Sürətli replikalar, gülüş, qışqırıq, musiqi, oyun səsi və bir neçə iştirakçının söhbəti tanımanı çətinləşdirir. Mikrofona hazır tərcümə treki düşərsə, o, yenidən emala daxil olub əks-səda və ya dövrə yarada bilər.

Dublajın gecikməsi nədən asılıdır

Gecikmə bir neçə hissədən yığılır: nitqin tanınması, maşın tərcüməsi, səsin sintezi, audionun ötürülməsi və xidmətin daxili buferləşdirilməsi. Əgər sistem ifadənin tamamlanmasını gözləyirsə, emala bu gözləmə də əlavə olunur. Bir neçə dildə əməliyyatlar paralel yerinə yetirilə bilər, lakin xidmətə və kompüterə yük yenə də artır.

Gecikməni yalnız brauzerdəki nümayişə əsasən qiymətləndirmək olmaz. Real yayımda ona OBS-də səsin tutulması, kodlaşdırma, axının platformaya göndərilməsi və izləyici pleyerində gözləmə əlavə olunur. İki izləyicidə eyni tərcümə əlaqə, cihaz və seçilmiş baxış rejiminə görə fərqlə görünə bilər.

Emal gecikməsini və izləyiciyə qədər ümumi gecikməni ayrıca ölçün. İlk test üçün mənbə mikrofonu və dublaj çıxışını ayrı treklərə yazın. Qısa marker söz deyin və eyni vaxtda əl çalın və ya klik edin. Mənbə yazıda bu anı, tərcümə yazıda isə emal olunmuş ifadənin başlanğıcını tapın. Yoxlamanı qısa cümlə, uzun replika və sürətli cavabla təkrarlayın, çünki bir ölçmə bütün sistemin davranışını göstərmir.

Tam yoxlama üçün yayımı başqa cihazda adi izləyici bağlantısı ilə açın. Səhnəyə böyük sayğac və ya digər nəzərəçarpan vizual marker əlavə etmək, onun OBS-də görünməsini yazmaq və uzaq izləyiciyə görünən anla müqayisə etmək olar. Belə test platformanın gecikməsinin dublaj təəssüratını nə qədər dəyişdiyini göstərir.

Platformanın gecikməsi yayım formatını necə dəyişir

Neyroşəbəkənin gecikməsi az olsa belə, striminq platforması öz buferləşdirməsini əlavə edir. Aşağı gecikmə rejimi adətən gözləməni azaldır, lakin tamamilə aradan qaldırmır. Daha ehtiyatlı rejimlər problemli əlaqədə daha stabıl ola bilər, amma tərcümə şəkilə və orijinal nitqə nisbətən daha gec gələcək.

Twitch və YouTube-da yekun translyasiyanın seçilmiş parametrlərindən, şəbəkənin vəziyyətindən, kanalın parametrlərindən və konkret pleyerin davranışından asılıdır. Buna görə əvvəlcədən sabit saniyə sayını bütün yayımlar üçün universal hesab etmək olmaz. Twitch və YouTube-u məhz izləyici kimi yoxlayın, yalnız OBS-dəki lokal səslə kifayətlənməyin.

Tərcümə sakit dərsdə və ya icmalda gecikirsə, bu məqbul ola bilər: izləyici əvvəlcə hərəkəti görür, sonra izahı eşidir. Rəqabətli oyunda gecikmə aparıcının reaksiyasına və ekrandakı hadisələrə görə daha nəzərəçarpan olur. Çatla sürətli söhbətdə tərcümə nitqi artıq dəyişmiş mövzuya aid ola bilər.

Nəzərəçarpan geriləmə olduqda emal olunan fraqmentlərin ölçüsünü azaltmaq, qısa cümlələrlə danışmaq və yayımı eyni vaxtda dillərlə yükləməmək lazımdır. Bu kömək etmirsə, subtitrlar və ya tərcümə ilə ayrı yazı daimi səs dublajından daha rahat ola bilər.

Strimerə hansı həllər uyğundur

Twitch, YouTube və hər hansı digər yayım üsulu üçün eyni dərəcədə rahat hazır alət yoxdur. Seçim etməzdən əvvəl yalnız dillərin siyahısını və tərcümənin keyfiyyətini deyil, nəticənin alınma üsulunu da yoxlayın. Xidmətin səsi brauzer, ayrı audio axını, virtual qurğu və ya API vasitəsilə verdiyini, həmçinin xəta zamanı dublajı tez söndürməyin mümkün olub-olmadığını bilmək vacibdir.

Tədbirlər üçün hazır platformalar

Wordly və Interprefy AI konfransların, onlayn tədbirlərin və çıxışların tərcüməsinə yönəlib. Bu yanaşma izləyicilər dil versiyasını xidmətin öz interfeysi vasitəsilə ala bildikdə rahatdır. Strimer tanıma, tərcümə və sintezi özü yığmalı olmur, lakin mikrofonun qoşulmasını, axın rejimini, mövcud dilləri və hazır səsi OBS-ə yönəltmək imkanını əvvəlcədən yoxlamalıdır.

Oyun strimi üçün qısa replikaları, söz kəsmələrini, personaj adlarını və danışıq jarqonunu ayrıca test etmək vacibdir. Hazır məruzə ilə tədbir və reaksiyalarla sürətli yayım — müxtəlif tapşırıqlardır. Audionun saxlanma şərtləri, funksiyalar dəsti və çıxış variantları konkret məhsulun cari parametrlərindən asılıdır.

Öz sxemi üçün bulud komponentləri

Microsoft Azure Speech Translation-ı nitq sintezi və ara tətbiqlə birləşdirmək olar. Oxşar zənciri Google Cloud Speech-to-Text, Cloud Translation və Text-to-Speech, yaxud Amazon Transcribe, Translate və Polly-dən qurmaq mümkündür. Belə həllər lüğətə, emal növbəsinə və səsə daha çox nəzarət verir, lakin texniki qurulum tələb edir.

Öz sxemində audionun ötürülməsini, qismən nəticələrin emalını, nasazlıq zamanı təkrar sorğuları və sintez olunmuş trekin yayıma qaytarılmasını təşkil etmək lazımdır. Yeni başlayan üçün bu, hazır düymədən çox kiçik proqram layihəsidir. İdeyanı tez yoxlamaq lazımdırsa, hazır platformadan başlamaq və ya yalnız bir dil üçün test yığmaq daha yaxşıdır.

OBS Studio və virtual marşrutlaşdırma

OBS Studio səhnələrin və audio mənbələrin idarəetmə mərkəzi kimi uyğundur, lakin proqramın özü nitqi tərcümə etmir. Xidmətlə OBS arasında səsin ötürülməsi üçün virtual audio qurğuları lazım ola bilər. Windows-da bunun üçün VB-CABLE kimi həllərdən, macOS-da isə BlackHole kimi virtual qurğulardan istifadə edirlər. Onların konkret xidmətlə uyğunluğunu ayrıca yoxlamaq lazımdır.

Bir neçə dil trekini necə təşkil etmək olar

Birinci variant — izləyicinin pleyerdə keçid etdiyi bir neçə audio trekli bir translyasiya. Bu, ən səliqəli sxemdir: şəkil və hadisələr ümumi qalır, dil isə ayrıca seçilir. Lakin bu imkanı konkret platforma, translyasiya formatı, hesab və inteqrasiya üsulu dəstəkləməlidir. OBS-də treklərin daxili ayrılması özlüyündə izləyicidə dil keçidi yaratmır.

İkinci variant — hər dil üçün ayrı yayım. Hər translyasiya üçün öz adını, təsvirini, çatını və moderasiyasını hazırlamaq olar. Sxem izləyicilər üçün anlaşılandır, lakin bir neçə axın, əlavə resurs və sinxronluğa nəzarət tələb edir. Mənbə yayım kəsilərsə, bu, bütün dil versiyalarında tez əks olunur.

Üçüncü variant — əsas yayım mənbə dildə və tərcümə ilə ayrı dil kanalı və ya xarici pleyer. Bu yanaşma platforma lazımi formatda bir neçə audio treki dəstəkləmədikdə uyğundur. İzləyiciyə aydın keçid vermək və tərcümənin harada aktivləşdirildiyini izah etmək lazımdır.

Dördüncü variant — translyasiya bitdikdən sonra tərcümə olunmuş yazılar, kliplər və ya ayrı yayımlar. Burada başqa dildə canlı ünsiyyət yoxdur, amma keyfiyyəti yoxlamaq, səhvləri düzəltmək və belə versiyanın auditoriya üçün maraqlı olub-olmadığını bütün canlı yayımı riskə atmadan anlamaq olar.

İzləyici onları ayrıca tənzimləyə bilmirsə, orijinal və tərcümə olunmuş səsi bir kanalda qarışdırmayın. Əks halda izləyici əvvəlcə mənbə ifadəni, bir müddət sonra isə onun üzərində tərcüməni eşidəcək. Platforma yalnız bir miks qəbul edirsə, ayrı yayım və ya xarici dil kanalından istifadə etmək daha təhlükəsizdir.

OBS-də çıxışı və nəzarəti necə qurmaq olar

Əvvəlcə mənbə mənbələri ayırın. Tərcümə girişi strimerin mikrofonunu almalıdır, lakin hazır dublajı, musiqini və oyun səsini yox. Xidmət yalnız ümumi miksi qəbul edirsə, onun üçün ayrı audio çıxışı yığın. Əks halda sistem personajların replikalarını, mahnıları, bildirişləri və öz səsləndirməsini tanıya bilər.

Xidmət tərcüməni virtual audio qurğusu vasitəsilə verdikdə, onu OBS-ə müstəqil Audio Input Capture mənbəyi kimi əlavə edin. Onu aydın adlandırın, məsələn «Dublaj EN», və lazımsız yerə orijinal mikrofonla birləşdirməyin. Hər dil üçün ayrı mənbə və ya ayrı səhnə istifadə etmək daha yaxşıdır ki, hansı siqnalın aktiv olduğunu tez görəsiniz.

Tərcümə trekini qulaqlıqlarda yoxlayın, mikrofonun yanındakı dinamiklər vasitəsilə deyil. Qapalı qulaqlıqlar və ya səliqəli qulaq içi modellər sintetik səsin mikrofona geri düşməsi riskini azaldır. Tərcümə dinamiklərdən səslənirsə, mikrofon onu nitqinizlə birlikdə tutub əks-səda, təkrar tərcümə və ya dövrə yarada bilər.

OBS-in genişləndirilmiş xassələrində tərcümə trekinin daimi monitorinqini lazımsız yerə əsas çıxışa qoşmayın. Monitorinq yoxlama üçün lazımdırsa, onu qulaqlıqlara yönəldin və müvəqqəti olaraq yalnız testdə aktivləşdirin. Mikrofon girişinin deyil, ayrı çıxışın seçildiyinə əmin olun. Yoxlamadan sonra yazını dinləyin: lokal olaraq əks-səda nəzərəçarpan olmaya bilər, hazır yayımda isə aydın görünəcək.

Nəzarət üçün dublajı söndürmək üçün qısayol düymələri və ya düymələr hazırlayın. Xidmət səsi təkrarlamağa, nitq əvəzinə oyunu tərcümə etməyə və ya ifadəni bir neçə dəfə səsləndirməyə başlayarsa, strimer tez orijinal mikrofona qayıtmalıdır. Tərcümə treki olmayan ayrı səhnə və əvvəlcədən yoxlanılmış ehtiyat mikrofon siqnalı olması faydalıdır.

OBS mənbələri çıxış treklərinə bölməyə imkan verirsə, bir trekdə orijinal mikrofonu və oyunu, digərində isə tərcümə olunmuş səsi saxlamaq olar. Lakin yayımdan əvvəl seçilmiş platformanın hansı trekləri həqiqətən qəbul etdiyini öyrənmək lazımdır. Bəzən izləyiciyə yalnız yekun miks əlçatandır və o zaman OBS-də bir neçə trek göndərmək məsələni həll etmir.

Süni intellekt strimerin səsini və emosiyalarını saxlayacaqmı

Oxşar tembr izləyicinin xarici versiyanı daha tez qəbul etməsinə kömək edir, lakin tam oxşarlığa zəmanət vermir. Səs modeli yüksəkliyi, çaları və ümumi danışıq tərzini ötürə bilər. Qəfil gülüşü, qorxunu, istehzanı, pıçıltını və ya sakit nitqdən qışqırığa kəskin keçidi təkrar yaratmaq isə daha çətindir.

Tərcümə ifadənin uzunluğunu və ritmini dəyişir. Bir dildə qısa replika digər dildə uzana bilər, zarafatın hərfi tərcüməsi isə mənasını itirə bilər. Sintezator pauzaları və intonasiyanı yenidən qurmalıdır, lakin avtomatik sistem strimerin harada zarafat etdiyini, personajdan sitat gətirdiyini və ya çata müraciət etdiyini həmişə anlamır.

Sakit təlim yayımında neytral sintetik səsləndirmə normal qəbul oluna bilər. Yumoristik şouda, emosional oyunda və ya qonaqlarla söhbətdə fərqlər daha nəzərəçarpan olacaq. Belə formatlar üçün tam dublajı subtitrlarla müqayisə etmək və mənanı, ünsiyyət tempini daha yaxşı saxlayan variantı seçmək faydalıdır.

Tərcümə səhvləri və nitq keyfiyyəti

Avtomatik tərcümə jarqon, memlər, nikneymlər və mənası vəziyyətdən asılı olan ifadələrlə daha pis işləyir. Oyunun və ya əşyanın adı adi söz kimi qəbul edilə bilər. Personajın adı bəzən səslə oxşar variantla əvəz olunur, kontekstsiz qısa replika isə səhv məna alır.

Başlamadan əvvəl kanal lüğətini hazırlayın: oyunun adı, iştirakçıların adları, nikneymlər, rubrikaların adları, daimi ifadələr və terminlər. Xidmətdə istifadəçi lüğəti və ya istisnalar siyahısı varsa, bu məlumatları əvvəlcədən daxil edin. Bu, bütün səhvləri aradan qaldırmayacaq, lakin təkrarlanan səhv variantların sayını azaltmağa kömək edəcək.

Yalnız mətn tərcüməsini deyil, tələffüzü də yoxlayın. Seçilmiş dilin daşıyıcısı səhv vurğunu, qeyri-təbii söz sırasını və ya yerli kontekstdə kobud səslənən ifadəni görə bilər. Bir avtomatik yoxlama kifayət deyil, xüsusilə yayım yumor və çatla ünsiyyət üzərində qurulubsa.

Bir neçə iştirakçı olduqda səslərin ayrılması problemi də əlavə olunur. Həm aparıcılar eyni vaxtda danışırsa, sistem replikaları birləşdirə və ya danışanı səhv müəyyən edə bilər. Müsahibə üçün seçilmiş həll belə sxemi dəstəkləyirsə, ayrı mikrofonlar və kanallar istifadə etmək daha yaxşıdır.

Çat, moderasiya və izləyicilərin məlumatlandırılması

Strimerin nitqinin tərcüməsi izləyicilərin mesajlarını avtomatik tərcümə etmir. Çat mənbə dildə qala, ayrı alətlə emal oluna və ya öz gecikməsi ilə gələ bilər. Başlamadan əvvəl auditoriyaya sualları necə verməli olduğunu və aparıcının hansı dildə cavab verə biləcəyini izah edin.

Əgər strimer çatın yalnız bir dil seqmentini oxuyursa, digər izləyicilər tez özlərini artıq hiss edəcəklər. Lazımi dilləri anlayan moderatorlar, əvvəlcədən hazırlanmış salamlamalar və avtomatik dublajın gecikməsi barədə qısa mesaj kömək edəcək. Vacib mesajları reaksiya verməzdən əvvəl yoxlamaq daha yaxşıdır, çünki çatın maşın tərcüməsi də mənanı təhrif edə bilər.

İzləyicilərə yayımda avtomatik tərcümə və ya sintetik səsləndirmənin istifadə olunduğunu açıq şəkildə bildirmək lazımdır. Bildirişi təsvirdə, bərkidilmiş mesajda yerləşdirmək və ya translyasiyanın əvvəlində demək olar. Bu, xüsusilə xarici səs strimerin səsinə bənzəyirsə və onu əsl nitq kimi qəbul etmək mümkündürsə vacibdir.

Səs modeli yaratmaq üçün nitq yazılarından istifadə olunursa, məlumatların saxlanma və emal şərtlərini yoxlayın. Həm aparıcının, qonağın, səsləndirmə aktyorunun və ya başqa şəxsin səsinin kopyasını icazəsiz yaratmaq olmaz. Birgə yayımlar üçün səsin istifadəsini əvvəlcədən razılaşdırın.

Dublajı ilk yayımdan əvvəl necə test etmək olar

Bir əlavə dildən və qapalı translyasiyadan başlayın. Sakit izahı, sürətli oyun reaksiyasını, zarafatı, oyunun adını, personajın adını, gülüşü və çatdan gələn mesaja cavabı yoxlayın. Boşluqları, məna dəyişikliklərini, adlardakı səhvləri və səsin şəkilə nə dərəcədə uyğun olduğunu ayrıca qeyd edin.

Mənbə treki və virtual audio qurğusunun çıxışını ayrıca yazın. Gecikməni səs formasına görə ölçmək üçün əl çalma və ya kliklə birlikdə qısa marker söz istifadə edin. Sonra həmin materialı uzaq Twitch və ya YouTube izləyicisi vasitəsilə dinləyin. Beləliklə neyroşəbəkənin gecikməsini platformanın buferləşdirməsindən ayırırsınız.

Seçilmiş dilin daşıyıcısından bir neçə ifadəni qiymətləndirməsini xahiş edin. Onun qeydləri tərcümənin dəqiqliyinə, ifadələrin təbiiliyinə, vurğulara, adlara, zarafatlara və kobud formulalara aid olmalıdır. Bundan sonra lüğəti və parametrləri düzəldin, sonra testi eyni nümunələrlə təkrarlayın.

Qəza ssenarisini yoxlayın: xidməti söndürün, virtual qurğunu söndürün və izləyicinin hələ də orijinal mikrofonu eşitdiyinə əmin olun. Testi qulaqlıq və telefon dinamiki vasitəsilə yazın, çünki örtmə, xışıltı və çox yüksək sintetik səs müxtəlif cihazlarda fərqli qavranılır.

Nəticələr: çoxdilli dublajı necə işə salmaq olar

1. Formatınıza səs tərcüməsinin lazım olub-olmadığını, yoxsa subtitrların kifayət etdiyini müəyyənləşdirin.
2. Bir əlavə dil və yalnız hazır faylların dublajı ilə deyil, axın emalı olan xidmət seçin.
3. OBS-də mikrofonu, oyunu, musiqini və tərcüməni ayırın, dublajı ayrı audio çıxışı vasitəsilə qoşun.
4. Qulaqlıqlardan istifadə edin və əks-səda və dövrənin qarşısını almaq üçün tərcümə dinamiklərini mikrofona yönəltməyin.
5. Gecikməni lokal olaraq ölçün və yayımı ayrıca Twitch və ya YouTube izləyici bağlantısı vasitəsilə yoxlayın.
6. Seçilmiş dilin daşıyıcısından tərcüməni yoxlamasını xahiş edin, lüğəti qurun və dublajı söndürmək üçün düymə hazırlayın.
7. Qapalı testdən sonra bir neçə audio trek, ayrı yayımlar, xarici dil kanalı və ya tərcümə ilə yazılar seçin.