Bisakah streamer berbicara langsung dalam beberapa bahasa dengan bantuan AI

Apa itu sulih suara siaran langsung berbasis jaringan neural

Sulih suara berbasis jaringan neural menerjemahkan ucapan streamer selama siaran dan membuat versi audio tambahan dalam bahasa lain untuk penonton. Sistem menerima suara dari mikrofon, mengenali apa yang diucapkan, menerjemahkan frasa, dan menyuarakan hasilnya dengan suara sintetis. Dalam beberapa solusi, suara diusahakan agar mirip dengan suara penulisnya sendiri.

Streamer sendiri tidak mulai berbicara secara fisik dalam beberapa bahasa. Antara mikrofon dan penonton muncul rantai pemrosesan perangkat lunak. Rantai ini dapat bekerja hampir secara waktu nyata, tetapi tidak mengirimkan ucapan secara instan: sistem perlu menunggu fragmen ucapan, mengenalinya, memilih terjemahan, dan menyintesis frasa baru.

Jadi jawaban atas pertanyaan di judul adalah: secara teknis satu orang dapat menyiarkan untuk beberapa audiens bahasa, tetapi ini bukan ucapan langsung simultan dalam berbagai bahasa. Penonton akan mendengar versi dari satu ucapan dengan penundaan, dan kualitasnya akan bergantung pada mikrofon, tempo bicara, layanan yang dipilih, dan cara keluaran.

Sulih suara berbeda dari subtitel dalam cara persepsinya. Penonton tidak perlu terus-menerus mengalihkan pandangan dari permainan atau pembawa acara ke teks. Ini nyaman dalam siaran permainan, siaran edukasi, dan format percakapan. Namun versi suara lebih bergantung pada latensi, kesalahan pengucapan, kealamian intonasi, dan perutean audio yang tepat.

Bagaimana ucapan berubah menjadi jalur audio terjemahan

Pertama, layanan menerima sinyal bersih dari mikrofon streamer. Model pengenalan mengubah suara menjadi teks, dan sistem streaming dapat menggunakan hasil antara bahkan sebelum frasa selesai. Kemudian teks diteruskan ke penerjemah mesin. Penerjemah memilih varian dalam bahasa yang diinginkan dengan mempertimbangkan konteks yang tersedia, setelah itu sintesisor membentuk frasa audio baru.

Suara yang sudah jadi masuk ke saluran keluaran yang dipilih: ke pemutar layanan, aliran audio terpisah, perangkat audio virtual, atau program untuk streaming. Pada tahap ini Anda dapat mengatur volume, mengaktifkan dan menonaktifkan jalur, mengirim bahasa berbeda ke scene berbeda, atau meneruskannya ke penonton melalui antarmuka yang disediakan.

Sistem dapat memproses ucapan dalam fragmen kecil atau menunggu selesainya blok makna. Semakin kecil fragmen, semakin rendah potensi penantian, tetapi semakin tinggi risiko terputus, terjemahan salah, dan jeda yang tidak wajar. Dengan blok yang lebih panjang, terjemahan mendapat lebih banyak konteks, tetapi penonton menunggu lebih lama hingga pikiran selesai.

Hasilnya dipengaruhi oleh tempo bicara, jeda, kualitas mikrofon, dan jumlah pembicara. Ucapan cepat, tawa, teriakan, musik, suara permainan, dan percakapan beberapa peserta mempersulit pengenalan. Jika jalur terjemahan yang sudah jadi masuk ke mikrofon, jalur itu dapat masuk kembali ke pemrosesan dan menyebabkan gema atau perulangan.

Apa yang menentukan latensi sulih suara

Latensi terdiri dari beberapa bagian: pengenalan ucapan, terjemahan mesin, sintesis suara, transmisi audio, dan buffering internal layanan. Jika sistem menunggu selesainya frasa, penantian ini juga ditambahkan ke pemrosesan. Dengan beberapa bahasa, operasi dapat dijalankan secara paralel, tetapi beban pada layanan dan komputer tetap meningkat.

Latensi tidak dapat dinilai hanya dari demonstrasi di browser. Dalam siaran nyata, ditambahkan penangkapan suara di OBS, pengodean, pengiriman aliran ke platform, dan penantian di pemutar penonton. Bagi dua penonton, terjemahan yang sama dapat muncul dengan selisih karena koneksi, perangkat, dan mode tontonan yang dipilih.

Ukur secara terpisah latensi pemrosesan dan latensi total hingga penonton. Untuk tes pertama, rekam mikrofon sumber dan keluaran sulih suara pada jalur berbeda. Ucapkan kata penanda pendek dan secara bersamaan lakukan tepukan atau klik. Pada rekaman sumber, temukan momen itu, dan pada rekaman terjemahan — awal frasa yang diproses. Ulangi pemeriksaan dengan kalimat pendek, ucapan panjang, dan jawaban cepat, karena satu pengukuran tidak menunjukkan perilaku seluruh sistem.

Untuk pemeriksaan penuh, buka siaran di perangkat lain melalui koneksi penonton biasa. Anda dapat menambahkan penghitung besar atau penanda visual mencolok lain ke scene, merekam kemunculannya di OBS, dan membandingkannya dengan momen ketika penanda itu terlihat oleh penonton jarak jauh. Tes semacam ini menunjukkan seberapa besar latensi platform mengubah kesan sulih suara.

Bagaimana latensi platform mengubah format siaran

Bahkan dengan latensi kecil dari jaringan neural, platform streaming menambahkan buffering-nya sendiri. Mode latensi rendah biasanya mengurangi penantian, tetapi tidak menghilangkannya sepenuhnya. Mode yang lebih hati-hati dapat lebih stabil pada koneksi bermasalah, namun terjemahan akan datang lebih lambat relatif terhadap gambar dan ucapan asli.

Di Twitch dan YouTube, hasilnya bergantung pada parameter siaran yang dipilih, kondisi jaringan, pengaturan kanal, dan perilaku pemutar tertentu. Oleh karena itu, jumlah detik tetap tidak dapat dianggap universal untuk semua siaran. Periksa Twitch dan YouTube justru sebagai penonton, bukan hanya dari suara lokal di OBS.

Jika terjemahan terlambat pada pelajaran atau ulasan yang tenang, ini mungkin dapat diterima: penonton pertama-tama melihat aksi, lalu mendengar penjelasan. Dalam permainan kompetitif, latensi lebih terasa dari reaksi pembawa acara dan peristiwa di layar. Dalam percakapan cepat dengan chat, ucapan terjemahan bisa jadi sudah merujuk pada topik yang sempat berganti.

Jika keterlambatan terasa jelas, sebaiknya kurangi ukuran fragmen yang diproses, bicaralah dengan kalimat pendek, dan jangan membebani siaran dengan bahasa simultan. Jika ini tidak membantu, subtitel atau rekaman terpisah dengan terjemahan mungkin lebih nyaman daripada sulih suara berkelanjutan.

Solusi apa yang cocok untuk streamer

Tidak ada alat siap pakai yang sama nyamannya untuk Twitch, YouTube, dan cara penyiaran lainnya. Sebelum memilih, periksa bukan hanya daftar bahasa dan kualitas terjemahan, tetapi juga cara memperoleh hasilnya. Penting untuk mengetahui apakah layanan mengeluarkan suara melalui browser, aliran audio terpisah, perangkat virtual, atau API, serta apakah sulih suara dapat dengan cepat dinonaktifkan jika terjadi kesalahan.

Platform siap pakai untuk acara

Wordly dan Interprefy AI berorientasi pada terjemahan konferensi, acara daring, dan presentasi. Pendekatan ini nyaman jika penonton dapat menerima versi bahasa melalui antarmuka layanan itu sendiri. Streamer tidak perlu merakit sendiri pengenalan, terjemahan, dan sintesis, tetapi perlu memeriksa sebelumnya koneksi mikrofon, mode streaming, bahasa yang tersedia, dan kemungkinan mengirim suara jadi ke OBS.

Untuk siaran permainan, penting untuk menguji secara terpisah ucapan pendek, interupsi, nama karakter, dan slang percakapan. Acara dengan presentasi yang telah disiapkan dan siaran cepat dengan reaksi adalah tugas yang berbeda. Ketentuan penyimpanan audio, rangkaian fungsi, dan opsi keluaran bergantung pada parameter terkini produk tertentu.

Komponen cloud untuk skema sendiri

Microsoft Azure Speech Translation dapat digabungkan dengan sintesis ucapan dan aplikasi perantara. Rantai serupa dapat dibangun dari Google Cloud Speech-to-Text, Cloud Translation, dan Text-to-Speech atau dari Amazon Transcribe, Translate, dan Polly. Solusi semacam ini memberi lebih banyak kendali atas kosakata, antrean pemrosesan, dan suara, tetapi memerlukan penyiapan teknis.

Dalam skema sendiri, Anda perlu mengatur transmisi audio, pemrosesan hasil parsial, permintaan ulang saat gagal, dan pengembalian jalur hasil sintesis ke siaran. Bagi pemula, ini lebih merupakan proyek perangkat lunak kecil daripada tombol siap pakai. Jika perlu verifikasi ide dengan cepat, lebih baik mulai dari platform siap pakai atau merakit tes hanya untuk satu bahasa.

OBS Studio dan perutean virtual

OBS Studio cocok sebagai pusat kendali scene dan sumber audio, tetapi program itu sendiri tidak menerjemahkan ucapan. Untuk mentransmisikan suara antara layanan dan OBS, mungkin diperlukan perangkat audio virtual. Di Windows untuk ini digunakan solusi seperti VB-CABLE, dan di macOS — perangkat virtual seperti BlackHole. Kompatibilitasnya dengan layanan tertentu perlu diperiksa secara terpisah.

Bagaimana mengatur beberapa jalur bahasa

Opsi pertama — satu siaran dengan beberapa jalur audio, di antaranya penonton beralih di pemutar. Ini skema paling rapi: gambar dan peristiwa tetap sama, dan bahasa dipilih secara terpisah. Namun, kemampuan ini harus didukung oleh platform tertentu, format siaran, akun, dan cara integrasi. Pemisahan internal jalur di OBS sendiri tidak menciptakan pemilih bahasa bagi penonton.

Opsi kedua — siaran terpisah untuk setiap bahasa. Untuk setiap siaran dapat disiapkan judul, deskripsi, chat, dan moderasi sendiri. Skemanya jelas bagi penonton, tetapi memerlukan beberapa aliran, sumber daya tambahan, dan kontrol sinkronisasi. Jika siaran sumber terputus, hal ini cepat berdampak pada semua versi bahasa.

Opsi ketiga — siaran utama dalam bahasa sumber dan kanal bahasa terpisah atau pemutar eksternal dengan terjemahan. Pendekatan ini cocok ketika platform tidak mendukung beberapa jalur audio dalam format yang diperlukan. Penonton perlu diberi tautan yang jelas dan dijelaskan di mana terjemahan diaktifkan.

Opsi keempat — rekaman terjemahan, klip, atau siaran terpisah setelah siaran langsung selesai. Tidak ada komunikasi langsung dalam bahasa lain di sini, tetapi Anda dapat memeriksa kualitas, memperbaiki kesalahan, dan memahami apakah versi semacam itu menarik bagi audiens tanpa mempertaruhkan seluruh siaran langsung.

Jangan mencampur suara asli dan suara terjemahan dalam satu kanal jika penonton tidak dapat mengaturnya secara terpisah. Jika tidak, penonton akan mendengar frasa sumber terlebih dahulu, lalu setelah beberapa waktu terjemahannya menimpanya. Jika platform hanya menerima satu campuran, lebih aman menggunakan siaran terpisah atau kanal bahasa eksternal.

Bagaimana mengatur keluaran dan kontrol di OBS

Pertama, pisahkan sumber asli. Masukan untuk terjemahan harus menerima mikrofon streamer, tetapi bukan sulih suara jadi, musik, dan suara permainan. Jika layanan hanya menerima campuran keseluruhan, siapkan keluaran audio terpisah untuknya. Jika tidak, sistem dapat mengenali ucapan karakter, lagu, notifikasi, dan sulih suara Anda sendiri.

Ketika layanan mengeluarkan terjemahan melalui perangkat audio virtual, tambahkan ke OBS sebagai sumber mandiri Audio Input Capture. Beri nama yang jelas, misalnya "Sulih suara EN", dan jangan gabungkan tanpa perlu dengan mikrofon asli. Untuk setiap bahasa, lebih baik menggunakan sumber terpisah atau scene terpisah agar dapat dengan cepat melihat sinyal mana yang aktif.

Jalur terjemahan perlu diperiksa di headphone, bukan melalui speaker di dekat mikrofon. Headphone tertutup atau model in-ear yang rapi mengurangi risiko suara sintetis masuk kembali ke mikrofon. Jika terjemahan terdengar dari speaker, mikrofon dapat menangkapnya bersama ucapan Anda dan menciptakan gema, terjemahan ulang, atau perulangan.

Di properti lanjutan OBS, jangan aktifkan pemantauan terus-menerus jalur terjemahan ke keluaran utama tanpa perlu. Jika pemantauan diperlukan untuk pemeriksaan, arahkan ke headphone dan aktifkan hanya sementara selama tes. Pastikan keluaran terpisah dipilih, bukan masukan mikrofon. Setelah pemeriksaan, dengarkan rekamannya: secara lokal gema mungkin tidak terlihat, tetapi dalam siaran jadi akan menjadi jelas.

Untuk kontrol, siapkan hotkey atau tombol untuk menonaktifkan sulih suara. Streamer harus dapat dengan cepat kembali ke mikrofon asli jika layanan mulai mengulang suara, menerjemahkan permainan alih-alih ucapan, atau memutar frasa beberapa kali. Berguna untuk memiliki scene terpisah tanpa jalur terjemahan dan sinyal mikrofon cadangan yang telah diperiksa sebelumnya.

Jika OBS memungkinkan mendistribusikan sumber ke jalur keluaran, Anda dapat meninggalkan mikrofon asli dan permainan di satu jalur, dan suara terjemahan di jalur lain. Namun sebelum publikasi, perlu diketahui jalur mana yang benar-benar diterima oleh platform yang dipilih. Terkadang penonton hanya memiliki akses ke campuran akhir, dan dalam hal ini pengiriman beberapa jalur di OBS tidak menyelesaikan masalah.

Apakah AI mempertahankan suara dan emosi streamer

Timbre yang mirip membantu penonton lebih cepat menerima versi asing, tetapi tidak menjamin kemiripan penuh. Model suara dapat menyampaikan nada, warna, dan gaya bicara umum. Jauh lebih sulit mereproduksi tawa mendadak, ketakutan, sarkasme, bisikan, atau transisi tajam dari bicara tenang ke teriakan.

Terjemahan mengubah panjang dan ritme frasa. Ucapan pendek dalam satu bahasa bisa menjadi lebih panjang dalam bahasa lain, dan terjemahan harfiah lelucon bisa kehilangan makna. Sintesisor harus menempatkan ulang jeda dan intonasi, tetapi sistem otomatis tidak selalu memahami di mana streamer bercanda, mengutip karakter, atau berbicara kepada chat.

Dalam siaran edukasi yang tenang, sulih suara sintetis netral mungkin dianggap normal. Dalam acara humor, permainan emosional, atau percakapan dengan tamu, perbedaannya akan lebih terlihat. Untuk format seperti itu, berguna membandingkan sulih suara penuh dengan subtitel dan memilih opsi yang lebih baik mempertahankan makna dan tempo komunikasi.

Kesalahan terjemahan dan kualitas ucapan

Terjemahan otomatis kurang baik menangani jargon, meme, nama panggilan, dan frasa yang maknanya bergantung pada situasi. Nama permainan atau item dapat dianggap sebagai kata biasa. Nama karakter terkadang diganti dengan varian yang mirip bunyinya, dan ucapan pendek tanpa konteks mendapat makna yang salah.

Sebelum peluncuran, siapkan kamus kanal: nama permainan, nama peserta, nama panggilan, nama rubrik, frasa tetap, dan istilah. Jika layanan memiliki kamus pengguna atau daftar pengecualian, masukkan data ini sebelumnya. Ini tidak akan menghilangkan semua kesalahan, tetapi akan membantu mengurangi jumlah varian salah yang berulang.

Periksa bukan hanya terjemahan teks, tetapi juga pengucapan. Penutur asli bahasa yang dipilih dapat menyadari tekanan yang salah, urutan kata yang tidak wajar, atau ungkapan yang terdengar kasar dalam konteks setempat. Satu pemeriksaan otomatis tidak cukup, terutama jika siaran dibangun di atas humor dan komunikasi dengan chat.

Dengan beberapa peserta, muncul masalah pemisahan suara. Jika co-host berbicara bersamaan, sistem dapat menggabungkan ucapan atau salah mengidentifikasi pembicara. Untuk wawancara, lebih baik menggunakan mikrofon dan kanal terpisah jika solusi yang dipilih mendukung skema semacam itu.

Chat, moderasi, dan pemberitahuan penonton

Terjemahan ucapan streamer tidak secara otomatis menerjemahkan pesan penonton. Chat dapat tetap dalam bahasa sumber, diproses oleh alat terpisah, atau datang dengan latensi sendiri. Sebelum peluncuran, jelaskan kepada audiens cara mengajukan pertanyaan dan dalam bahasa apa pembawa acara dapat menjawab.

Jika streamer hanya membaca satu segmen bahasa chat, penonton lain akan cepat merasa dikesampingkan. Moderator yang memahami bahasa yang diperlukan, salam yang telah disiapkan sebelumnya, dan pesan singkat tentang latensi sulih suara otomatis akan membantu. Pesan penting sebaiknya diperiksa sebelum bereaksi, karena terjemahan mesin chat juga dapat mendistorsi makna.

Penonton sebaiknya diberi tahu secara langsung bahwa siaran menggunakan terjemahan otomatis atau sulih suara sintetis. Pemberitahuan dapat ditempatkan di deskripsi, pesan yang disematkan, atau diucapkan di awal siaran. Ini sangat penting jika suara asing mirip dengan suara streamer dan dapat disangka sebagai ucapan asli.

Jika rekaman ucapan digunakan untuk membuat model suara, periksa ketentuan penyimpanan dan pemrosesan data. Tidak boleh tanpa izin membuat salinan suara co-host, tamu, aktor sulih suara, atau orang lain. Untuk siaran bersama, sepakati penggunaan suara sebelumnya.

Bagaimana menguji sulih suara sebelum siaran pertama

Mulailah dengan satu bahasa tambahan dan siaran tertutup. Periksa penjelasan yang tenang, reaksi permainan yang cepat, lelucon, nama permainan, nama karakter, tawa, dan jawaban atas pesan dari chat. Catat secara terpisah kelalaian, perubahan makna, kesalahan pada nama, dan seberapa cocok suara dengan gambar.

Rekam jalur sumber dan keluaran perangkat audio virtual secara terpisah. Gunakan kata penanda pendek bersama tepukan atau klik untuk mengukur latensi berdasarkan bentuk gelombang suara. Kemudian dengarkan materi yang sama melalui penonton jarak jauh Twitch atau YouTube. Dengan begitu Anda memisahkan latensi jaringan neural dari buffering platform.

Minta penutur asli bahasa menilai beberapa frasa. Catatannya harus menyangkut ketepatan terjemahan, kealamian ungkapan, tekanan, nama, lelucon, dan formulasi kasar. Setelah itu perbaiki kamus dan pengaturan, lalu ulangi tes dengan contoh yang sama.

Periksa skenario darurat: nonaktifkan layanan, matikan perangkat virtual, dan pastikan penonton masih mendengar mikrofon asli. Rekam tes melalui headphone dan speaker ponsel, karena penumpukan, desis, dan suara sintetis yang terlalu keras dirasakan berbeda di berbagai perangkat.

Kesimpulan: bagaimana meluncurkan sulih suara multibahasa

1. Tentukan apakah format Anda memerlukan terjemahan suara atau cukup subtitel.
2. Pilih satu bahasa tambahan dan layanan dengan pemrosesan streaming, bukan hanya sulih suara untuk file jadi.
3. Pisahkan di OBS mikrofon, permainan, musik, dan terjemahan dengan menghubungkan sulih suara melalui keluaran audio terpisah.
4. Gunakan headphone dan jangan arahkan speaker terjemahan ke mikrofon untuk menghindari gema dan perulangan.
5. Ukur latensi secara lokal dan periksa siaran secara terpisah melalui koneksi penonton Twitch atau YouTube.
6. Minta penutur asli bahasa memeriksa terjemahan, atur kamus, dan siapkan tombol untuk menonaktifkan sulih suara.
7. Setelah tes tertutup, pilih beberapa jalur audio, siaran terpisah, kanal bahasa eksternal, atau rekaman dengan terjemahan.