Μπορεί ένας streamer να μιλάει ταυτόχρονα σε πολλές γλώσσες με τη βοήθεια AI

Τι είναι το νευρωνικό νταμπλάρισμα ζωντανής μετάδοσης

Το νευρωνικό νταμπλάρισμα μεταφράζει την ομιλία του streamer κατά τη διάρκεια της μετάδοσης και δημιουργεί για τον θεατή μια πρόσθετη ηχητική εκδοχή σε άλλη γλώσσα. Το σύστημα λαμβάνει τον ήχο από το μικρόφωνο, αναγνωρίζει τα λεγόμενα, μεταφράζει τη φράση και εκφωνεί το αποτέλεσμα με συνθετική φωνή. Σε ορισμένες λύσεις γίνεται προσπάθεια η φωνή να μοιάζει με τη φωνή του ίδιου του δημιουργού.

Ο streamer, ωστόσο, δεν αρχίζει να μιλάει φυσικά σε πολλές γλώσσες. Μεταξύ του μικροφώνου και του θεατή παρεμβάλλεται μια αλυσίδα επεξεργασίας λογισμικού. Μπορεί να λειτουργεί σχεδόν σε πραγματικό χρόνο, αλλά δεν μεταδίδει τη φράση ακαριαία: το σύστημα πρέπει να περιμένει ένα τμήμα ομιλίας, να το αναγνωρίσει, να βρει τη μετάφραση και να συνθέσει μια νέα φράση.

Επομένως, η απάντηση στο ερώτημα του τίτλου είναι η εξής: τεχνικά ένα άτομο μπορεί να κάνει μετάδοση για πολλά γλωσσικά κοινά, αλλά αυτό δεν θα είναι ταυτόχρονη ζωντανή ομιλία σε διαφορετικές γλώσσες. Οι θεατές θα ακούσουν εκδοχές της ίδιας φράσης με καθυστέρηση, και η ποιότητα θα εξαρτάται από το μικρόφωνο, τον ρυθμό ομιλίας, την επιλεγμένη υπηρεσία και τον τρόπο εξόδου.

Από τους υπότιτλους το νταμπλάρισμα διαφέρει ως προς τον τρόπο αντίληψης. Ο θεατής δεν χρειάζεται να μετακινεί συνεχώς το βλέμμα του από το παιχνίδι ή τον παρουσιαστή στο κείμενο. Αυτό είναι βολικό σε gaming μεταδόσεις, εκπαιδευτικές μεταδόσεις και φορμάτ συζήτησης. Ωστόσο, η ηχητική εκδοχή εξαρτάται περισσότερο από την καθυστέρηση, τα λάθη προφοράς, τη φυσικότητα της τονικότητας και τη σωστή δρομολόγηση του ήχου.

Πώς η ομιλία μετατρέπεται σε μεταφρασμένο ηχητικό κανάλι

Αρχικά, η υπηρεσία λαμβάνει καθαρό σήμα από το μικρόφωνο του streamer. Το μοντέλο αναγνώρισης μετατρέπει τον ήχο σε κείμενο, και μάλιστα τα συστήματα ροής μπορούν να χρησιμοποιούν ενδιάμεσα αποτελέσματα ακόμη και πριν ολοκληρωθεί η φράση. Στη συνέχεια, το κείμενο περνά στον μηχανικό μεταφραστή. Αυτός επιλέγει την εκδοχή στη ζητούμενη γλώσσα με βάση το διαθέσιμο πλαίσιο, και έπειτα ο συνθέτης δημιουργεί μια νέα ηχητική φράση.

Ο έτοιμος ήχος καταλήγει στο επιλεγμένο κανάλι εξόδου: στον player της υπηρεσίας, σε ξεχωριστή ροή ήχου, σε εικονική συσκευή ήχου ή σε πρόγραμμα για streaming. Σε αυτό το στάδιο μπορείτε να ρυθμίσετε την ένταση, να ενεργοποιήσετε και να απενεργοποιήσετε το κανάλι, να στέλνετε διαφορετικές γλώσσες σε διαφορετικές σκηνές ή να τις μεταδίδετε στους θεατές μέσω της προβλεπόμενης διεπαφής.

Το σύστημα μπορεί να επεξεργάζεται την ομιλία σε μικρά τμήματα ή να περιμένει την ολοκλήρωση μιας σημασιολογικής ενότητας. Όσο μικρότερο είναι το τμήμα, τόσο μικρότερη είναι η δυνητική αναμονή, αλλά τόσο μεγαλύτερος ο κίνδυνος διακοπών, λανθασμένης μετάφρασης και αφύσικων παύσεων. Με μεγαλύτερα τμήματα η μετάφραση έχει περισσότερο πλαίσιο, αλλά ο θεατής περιμένει περισσότερο μέχρι να ολοκληρωθεί η σκέψη.

Το αποτέλεσμα επηρεάζεται από τον ρυθμό ομιλίας, τις παύσεις, την ποιότητα του μικροφώνου και τον αριθμό των ομιλητών. Γρήγορες φράσεις, γέλια, κραυγές, μουσική, ήχος παιχνιδιού και συνομιλία πολλών συμμετεχόντων δυσκολεύουν την αναγνώριση. Αν στο μικρόφωνο φτάνει το έτοιμο μεταφρασμένο κανάλι, μπορεί να περάσει ξανά στην επεξεργασία και να προκαλέσει ηχώ ή βρόχο.

Από τι εξαρτάται η καθυστέρηση του νταμπλαρίσματος

Η καθυστέρηση αποτελείται από πολλά μέρη: την αναγνώριση ομιλίας, τη μηχανική μετάφραση, τη σύνθεση φωνής, τη μεταφορά ήχου και την εσωτερική προσωρινή αποθήκευση της υπηρεσίας. Αν το σύστημα περιμένει την ολοκλήρωση της φράσης, στην επεξεργασία προστίθεται και αυτή η αναμονή. Με πολλές γλώσσες οι εργασίες μπορούν να εκτελούνται παράλληλα, αλλά το φορτίο στην υπηρεσία και στον υπολογιστή αυξάνεται ούτως ή άλλως.

Δεν μπορείτε να αξιολογήσετε την καθυστέρηση μόνο από μια επίδειξη στον browser. Σε μια πραγματική μετάδοση προστίθενται η σύλληψη ήχου στο OBS, η κωδικοποίηση, η αποστολή της ροής στην πλατφόρμα και η αναμονή στον player του θεατή. Σε δύο θεατές η ίδια μετάφραση μπορεί να εμφανιστεί με διαφορά λόγω σύνδεσης, συσκευής και επιλεγμένης λειτουργίας προβολής.

Μετρήστε ξεχωριστά την καθυστέρηση επεξεργασίας και τη συνολική καθυστέρηση μέχρι τον θεατή. Για την πρώτη δοκιμή, ηχογραφήστε το αρχικό μικρόφωνο και την έξοδο του νταμπλαρίσματος σε διαφορετικά κανάλια. Προφέρετε μια σύντομη λέξη-δείκτη και ταυτόχρονα κάντε ένα παλαμάκι ή ένα κλικ. Στην αρχική ηχογράφηση βρείτε αυτή τη στιγμή, και στη μεταφρασμένη — την αρχή της επεξεργασμένης φράσης. Επαναλάβετε τον έλεγχο με μια σύντομη πρόταση, μια μεγάλη φράση και μια γρήγορη απάντηση, γιατί μία μέτρηση δεν δείχνει τη συμπεριφορά ολόκληρου του συστήματος.

Για πλήρη έλεγχο, ανοίξτε τη μετάδοση σε άλλη συσκευή μέσω κανονικής σύνδεσης θεατή. Μπορείτε να προσθέσετε στη σκηνή έναν μεγάλο μετρητή ή άλλο εμφανές οπτικό σημάδι, να καταγράψετε την εμφάνισή του στο OBS και να τη συγκρίνετε με τη στιγμή που έγινε ορατό στον απομακρυσμένο θεατή. Αυτή η δοκιμή δείχνει πόσο η καθυστέρηση της πλατφόρμας αλλάζει την εντύπωση από το νταμπλάρισμα.

Πώς η καθυστέρηση της πλατφόρμας αλλάζει το φορμάτ της μετάδοσης

Ακόμη και με μικρή καθυστέρηση του νευρωνικού δικτύου, η πλατφόρμα streaming προσθέτει τη δική της προσωρινή αποθήκευση. Η λειτουργία χαμηλής καθυστέρησης συνήθως μειώνει την αναμονή, αλλά δεν την εξαλείφει πλήρως. Πιο συντηρητικές λειτουργίες μπορεί να είναι πιο σταθερές σε προβληματική σύνδεση, ωστόσο η μετάφραση θα φτάνει αργότερα σε σχέση με την εικόνα και την αρχική ομιλία.

Στο Twitch και το YouTube το αποτέλεσμα εξαρτάται από τις επιλεγμένες παραμέτρους μετάδοσης, την κατάσταση του δικτύου, τις ρυθμίσεις του καναλιού και τη συμπεριφορά του συγκεκριμένου player. Επομένως, δεν μπορείτε εκ των προτέρων να θεωρήσετε έναν σταθερό αριθμό δευτερολέπτων καθολικό για όλες τις μεταδόσεις. Ελέγξτε το Twitch και το YouTube ακριβώς ως θεατής, όχι μόνο από τον τοπικό ήχο στο OBS.

Αν η μετάφραση καθυστερεί σε ένα ήρεμο μάθημα ή review, αυτό μπορεί να είναι αποδεκτό: ο θεατής βλέπει πρώτα τη δράση και μετά ακούει την εξήγηση. Σε ένα ανταγωνιστικό παιχνίδι η καθυστέρηση γίνεται πιο αισθητή από την αντίδραση του παρουσιαστή και τα γεγονότα στην οθόνη. Σε μια γρήγορη συζήτηση με το chat, η μεταφρασμένη ομιλία μπορεί να αφορά ήδη ένα θέμα που έχει αλλάξει.

Σε αξιοσημείωτη υστέρηση αξίζει να μειώσετε το μέγεθος των επεξεργασμένων τμημάτων, να μιλάτε με σύντομες προτάσεις και να μην υπερφορτώνετε τη μετάδοση με ταυτόχρονες γλώσσες. Αν αυτό δεν βοηθήσει, οι υπότιτλοι ή μια ξεχωριστή ηχογράφηση με μετάφραση μπορεί να είναι πιο βολικοί από το συνεχές ηχητικό νταμπλάρισμα.

Ποιες λύσεις ταιριάζουν στον streamer

Δεν υπάρχει έτοιμο εργαλείο εξίσου βολικό για το Twitch, το YouTube και οποιονδήποτε άλλο τρόπο μετάδοσης. Πριν επιλέξετε, ελέγξτε όχι μόνο τη λίστα γλωσσών και την ποιότητα της μετάφρασης, αλλά και τον τρόπο λήψης του αποτελέσματος. Είναι σημαντικό να γνωρίζετε αν η υπηρεσία δίνει ήχο μέσω browser, ξεχωριστής ροής ήχου, εικονικής συσκευής ή API, καθώς και αν μπορείτε να απενεργοποιήσετε γρήγορα το νταμπλάρισμα σε περίπτωση σφάλματος.

Έτοιμες πλατφόρμες για εκδηλώσεις

Τα Wordly και Interprefy AI προσανατολίζονται στη μετάφραση συνεδρίων, διαδικτυακών εκδηλώσεων και ομιλιών. Αυτή η προσέγγιση είναι βολική αν οι θεατές μπορούν να λαμβάνουν τη γλωσσική εκδοχή μέσω της διεπαφής της ίδιας της υπηρεσίας. Ο streamer δεν χρειάζεται να συναρμολογήσει μόνος του αναγνώριση, μετάφραση και σύνθεση, αλλά πρέπει να ελέγξει εκ των προτέρων τη σύνδεση του μικροφώνου, τη λειτουργία ροής, τις διαθέσιμες γλώσσες και τη δυνατότητα αποστολής του έτοιμου ήχου στο OBS.

Για ένα gaming stream είναι σημαντικό να δοκιμάσετε ξεχωριστά σύντομες φράσεις, διακοπές, ονόματα χαρακτήρων και καθημερινή αργκό. Μια εκδήλωση με προετοιμασμένη ομιλία και μια γρήγορη μετάδοση με αντιδράσεις είναι διαφορετικά καθήκοντα. Οι όροι αποθήκευσης ήχου, το σύνολο λειτουργιών και οι επιλογές εξόδου εξαρτώνται από τις τρέχουσες παραμέτρους του συγκεκριμένου προϊόντος.

Υπηρεσίες cloud για δικό σας σχήμα

Το Microsoft Azure Speech Translation μπορεί να συνδυαστεί με σύνθεση ομιλίας και μια ενδιάμεση εφαρμογή. Παρόμοια αλυσίδα μπορεί να στηθεί από τα Google Cloud Speech-to-Text, Cloud Translation και Text-to-Speech ή από τα Amazon Transcribe, Translate και Polly. Τέτοιες λύσεις δίνουν περισσότερο έλεγχο στο λεξιλόγιο, την ουρά επεξεργασίας και τη φωνή, αλλά απαιτούν τεχνική ρύθμιση.

Στο δικό σας σχήμα πρέπει να οργανώσετε τη μεταφορά ήχου, την επεξεργασία μερικών αποτελεσμάτων, τα επαναλαμβανόμενα αιτήματα σε περίπτωση αποτυχίας και την επιστροφή του συνθετικού καναλιού στη μετάδοση. Για έναν αρχάριο αυτό είναι περισσότερο ένα μικρό προγραμματιστικό έργο παρά ένα έτοιμο κουμπί. Αν χρειάζεστε γρήγορη επαλήθευση της ιδέας, καλύτερα να ξεκινήσετε με μια έτοιμη πλατφόρμα ή να στήσετε μια δοκιμή μόνο για μία γλώσσα.

OBS Studio και εικονική δρομολόγηση

Το OBS Studio είναι κατάλληλο ως κέντρο διαχείρισης σκηνών και πηγών ήχου, αλλά το ίδιο το πρόγραμμα δεν μεταφράζει ομιλία. Για τη μεταφορά ήχου μεταξύ της υπηρεσίας και του OBS μπορεί να χρειαστούν εικονικές συσκευές ήχου. Στα Windows χρησιμοποιούνται για αυτό λύσεις όπως το VB-CABLE, και στο macOS εικονικές συσκευές όπως το BlackHole. Η συμβατότητά τους με τη συγκεκριμένη υπηρεσία πρέπει να ελέγχεται ξεχωριστά.

Πώς να οργανώσετε πολλά γλωσσικά κανάλια

Η πρώτη επιλογή είναι μία μετάδοση με πολλά ηχητικά κανάλια, μεταξύ των οποίων ο θεατής εναλλάσσεται στον player. Αυτό είναι το πιο τακτοποιημένο σχήμα: η εικόνα και τα γεγονότα παραμένουν κοινά, και η γλώσσα επιλέγεται ξεχωριστά. Ωστόσο, αυτή η δυνατότητα πρέπει να υποστηρίζεται από τη συγκεκριμένη πλατφόρμα, τη μορφή μετάδοσης, τον λογαριασμό και τον τρόπο ενσωμάτωσης. Ο εσωτερικός διαχωρισμός καναλιών στο OBS από μόνος του δεν δημιουργεί επιλογέα γλώσσας για τον θεατή.

Η δεύτερη επιλογή είναι ξεχωριστή μετάδοση για κάθε γλώσσα. Για κάθε μετάδοση μπορείτε να προετοιμάσετε δικό της τίτλο, περιγραφή, chat και moderation. Το σχήμα είναι κατανοητό στους θεατές, αλλά απαιτεί πολλαπλές ροές, πρόσθετους πόρους και έλεγχο συγχρονισμού. Αν η αρχική μετάδοση διακοπεί, αυτό αντανακλάται γρήγορα σε όλες τις γλωσσικές εκδοχές.

Η τρίτη επιλογή είναι κύρια μετάδοση στη γλώσσα προέλευσης και ξεχωριστό γλωσσικό κανάλι ή εξωτερικός player με μετάφραση. Αυτή η προσέγγιση είναι κατάλληλη όταν η πλατφόρμα δεν υποστηρίζει πολλά ηχητικά κανάλια στη ζητούμενη μορφή. Πρέπει να δώσετε στον θεατή σαφή σύνδεσμο και να εξηγήσετε πού ενεργοποιείται η μετάφραση.

Η τέταρτη επιλογή είναι μεταφρασμένες ηχογραφήσεις, clips ή ξεχωριστές μεταδόσεις μετά την ολοκλήρωση της μετάδοσης. Ζωντανή επικοινωνία σε άλλη γλώσσα δεν υπάρχει εδώ, αλλά μπορείτε να ελέγξετε την ποιότητα, να διορθώσετε λάθη και να καταλάβετε αν μια τέτοια εκδοχή ενδιαφέρει το κοινό, χωρίς να ρισκάρει ολόκληρη τη ζωντανή μετάδοση.

Μην αναμειγνύετε την αρχική και τη μεταφρασμένη φωνή σε ένα κανάλι, αν ο θεατής δεν μπορεί να τις ρυθμίσει ξεχωριστά. Διαφορετικά ο θεατής θα ακούσει πρώτα την αρχική φράση και μετά από λίγο, πάνω της, τη μετάφραση. Αν η πλατφόρμα δέχεται μόνο μία μίξη, είναι ασφαλέστερο να χρησιμοποιήσετε ξεχωριστή μετάδοση ή εξωτερικό γλωσσικό κανάλι.

Πώς να ρυθμίσετε την έξοδο και τον έλεγχο στο OBS

Πρώτα διαχωρίστε τις αρχικές πηγές. Η είσοδος για τη μετάφραση πρέπει να λαμβάνει το μικρόφωνο του streamer, αλλά όχι το έτοιμο νταμπλάρισμα, τη μουσική και τον ήχο του παιχνιδιού. Αν η υπηρεσία δέχεται μόνο τη συνολική μίξη, συγκεντρώστε για αυτήν ξεχωριστή έξοδο ήχου. Διαφορετικά το σύστημα μπορεί να αναγνωρίζει φράσεις χαρακτήρων, τραγούδια, ειδοποιήσεις και τη δική του εκφώνηση.

Όταν η υπηρεσία δίνει τη μετάφραση μέσω εικονικής συσκευής ήχου, προσθέστε την στο OBS ως ανεξάρτητη πηγή Audio Input Capture. Ονομάστε την κατανοητά, για παράδειγμα «Νταμπλάρισμα EN», και μην τη συνδυάζετε χωρίς λόγο με το αρχικό μικρόφωνο. Για κάθε γλώσσα είναι καλύτερο να χρησιμοποιείτε ξεχωριστή πηγή ή ξεχωριστή σκηνή, ώστε να βλέπετε γρήγορα ποιο σήμα είναι ενεργό.

Το μεταφρασμένο κανάλι πρέπει να ελέγχεται με ακουστικά, όχι μέσω ηχείων δίπλα στο μικρόφωνο. Κλειστά ακουστικά ή προσεγμένα in-ear μοντέλα μειώνουν τον κίνδυνο η συνθετική φωνή να επιστρέψει στο μικρόφωνο. Αν η μετάφραση ακούγεται από τα ηχεία, το μικρόφωνο μπορεί να τη συλλάβει μαζί με την ομιλία σας και να δημιουργήσει ηχώ, εκ νέου μετάφραση ή βρόχο.

Στις σύνθετες ιδιότητες του OBS μην ενεργοποιείτε μόνιμη παρακολούθηση του μεταφρασμένου καναλιού στην κύρια έξοδο χωρίς λόγο. Αν η παρακολούθηση χρειάζεται για έλεγχο, κατευθύνετέ την στα ακουστικά και ενεργοποιήστε την προσωρινά μόνο στη δοκιμή. Βεβαιωθείτε ότι έχει επιλεγεί ξεχωριστή έξοδος και όχι η είσοδος μικροφώνου. Μετά τον έλεγχο ακούστε την ηχογράφηση: τοπικά η ηχώ μπορεί να μην είναι αντιληπτή, αλλά στην έτοιμη μετάδοση θα γίνει εμφανής.

Για έλεγχο, προετοιμάστε συντομεύσεις ή κουμπιά απενεργοποίησης του νταμπλαρίσματος. Ο streamer πρέπει να επιστρέφει γρήγορα στο αρχικό μικρόφωνο, αν η υπηρεσία άρχισε να επαναλαμβάνει ήχο, να μεταφράζει το παιχνίδι αντί για την ομιλία ή να αναπαράγει τη φράση πολλές φορές. Είναι χρήσιμο να υπάρχει ξεχωριστή σκηνή χωρίς το μεταφρασμένο κανάλι και ένα εκ των προτέρων ελεγμένο εφεδρικό σήμα μικροφώνου.

Αν το OBS επιτρέπει την κατανομή πηγών σε κανάλια εξόδου, μπορείτε να αφήσετε σε ένα κανάλι το αρχικό μικρόφωνο και το παιχνίδι, και σε άλλο τη μεταφρασμένη φωνή. Αλλά πριν από τη δημοσίευση πρέπει να μάθετε ποια κανάλια δέχεται πραγματικά η επιλεγμένη πλατφόρμα. Μερικές φορές στον θεατή είναι διαθέσιμη μόνο η τελική μίξη, και τότε η αποστολή πολλών καναλιών στο OBS δεν λύνει το πρόβλημα.

Διατηρεί η AI τη φωνή και τα συναισθήματα του streamer

Ο παρόμοιος τόνος βοηθά τον θεατή να αποδεχτεί γρηγορότερα την ξένη εκδοχή, αλλά δεν εγγυάται πλήρη ομοιότητα. Το φωνητικό μοντέλο μπορεί να αποδώσει το ύψος, το χρώμα και τη γενική εκφορά. Πολύ πιο δύσκολο είναι να αναπαραχθεί ένα ξαφνικό γέλιο, ο φόβος, η ειρωνεία, ο ψίθυρος ή η απότομη μετάβαση από ήρεμη ομιλία σε κραυγή.

Η μετάφραση αλλάζει το μήκος και τον ρυθμό της φράσης. Μια σύντομη φράση σε μια γλώσσα μπορεί να γίνει μεγαλύτερη σε άλλη, και η κατά λέξη μετάφραση ενός αστείου — να χάσει το νόημα. Ο συνθέτης πρέπει να τοποθετήσει ξανά παύσεις και τονικότητα, αλλά το αυτόματο σύστημα δεν καταλαβαίνει πάντα πού ο streamer αστειεύεται, παραθέτει έναν χαρακτήρα ή απευθύνεται στο chat.

Σε μια ήρεμη εκπαιδευτική μετάδοση η ουδέτερη συνθετική εκφώνηση μπορεί να γίνει αντιληπτή ως φυσιολογική. Σε μια κωμική εκπομπή, ένα συναισθηματικό παιχνίδι ή μια συζήτηση με καλεσμένους οι διαφορές θα είναι πιο αισθητές. Για τέτοια φορμάτ είναι χρήσιμο να συγκρίνετε το πλήρες νταμπλάρισμα με τους υπότιτλους και να επιλέξετε την εκδοχή που διατηρεί καλύτερα το νόημα και τον ρυθμό της επικοινωνίας.

Λάθη μετάφρασης και ποιότητα ομιλίας

Η αυτόματη μετάφραση λειτουργεί χειρότερα με αργκό, memes, ψευδώνυμα και φράσεις των οποίων το νόημα εξαρτάται από την περίσταση. Το όνομα ενός παιχνιδιού ή ενός αντικειμένου μπορεί να εκληφθεί ως συνηθισμένη λέξη. Το όνομα ενός χαρακτήρα μερικές φορές αντικαθίσταται από μια ηχητικά παρόμοια εκδοχή, και μια σύντομη φράση χωρίς πλαίσιο παίρνει λανθασμένο νόημα.

Πριν από την εκκίνηση, προετοιμάστε το λεξικό του καναλιού: όνομα παιχνιδιού, ονόματα συμμετεχόντων, ψευδώνυμα, ονόματα ενοτήτων, σταθερές φράσεις και όρους. Αν η υπηρεσία διαθέτει προσαρμοσμένο λεξικό ή λίστα εξαιρέσεων, καταχωρίστε αυτά τα δεδομένα εκ των προτέρων. Αυτό δεν θα εξαλείψει όλα τα λάθη, αλλά θα βοηθήσει να μειωθεί ο αριθμός των επαναλαμβανόμενων λανθασμένων εκδοχών.

Ελέγξτε όχι μόνο τη γραπτή μετάφραση, αλλά και την προφορά. Ένας φυσικός ομιλητής της επιλεγμένης γλώσσας μπορεί να παρατηρήσει λανθασμένο τονισμό, αφύσικη σειρά λέξεων ή μια έκφραση που ακούγεται αγενής στο τοπικό πλαίσιο. Μια αυτόματη επαλήθευση δεν αρκεί, ειδικά αν η μετάδοση βασίζεται στο χιούμορ και την επικοινωνία με το chat.

Με πολλούς συμμετέχοντες προστίθεται το πρόβλημα του διαχωρισμού φωνών. Αν οι συνοικοδεσπότες μιλούν ταυτόχρονα, το σύστημα μπορεί να ενώσει τις φράσεις ή να προσδιορίσει λανθασμένα τον ομιλητή. Για συνεντεύξεις είναι καλύτερο να χρησιμοποιείτε ξεχωριστά μικρόφωνα και κανάλια, αν η επιλεγμένη λύση υποστηρίζει τέτοιο σχήμα.

Chat, moderation και ενημέρωση των θεατών

Η μετάφραση της ομιλίας του streamer δεν μεταφράζει αυτόματα τα μηνύματα των θεατών. Το chat μπορεί να παραμείνει στην αρχική γλώσσα, να υποβάλλεται σε επεξεργασία από ξεχωριστό εργαλείο ή να φτάνει με δική του καθυστέρηση. Πριν από την εκκίνηση εξηγήστε στο κοινό πώς να κάνει ερωτήσεις και σε ποια γλώσσα ο παρουσιαστής θα μπορεί να απαντήσει.

Αν ο streamer διαβάζει μόνο ένα γλωσσικό τμήμα του chat, οι υπόλοιποι θεατές θα νιώσουν γρήγορα περιττοί. Βοηθούν moderators που γνωρίζουν τις απαραίτητες γλώσσες, προετοιμασμένοι χαιρετισμοί και ένα σύντομο μήνυμα για την καθυστέρηση του αυτόματου νταμπλαρίσματος. Τα σημαντικά μηνύματα είναι καλύτερο να τα ελέγχετε πριν αντιδράσετε, καθώς η μηχανική μετάφραση του chat μπορεί επίσης να distorts το νόημα.

Αξίζει να ενημερώσετε τους θεατές απευθείας ότι στη μετάδοση χρησιμοποιείται αυτόματη μετάφραση ή συνθετική εκφώνηση. Η ειδοποίηση μπορεί να τοποθετηθεί στην περιγραφή, σε καρφιτσωμένο μήνυμα ή να ειπωθεί στην αρχή της μετάδοσης. Αυτό είναι ιδιαίτερα σημαντικό αν η ξένη φωνή μοιάζει με τη φωνή του streamer και μπορεί να εκληφθεί ως πραγματική ομιλία.

Αν για τη δημιουργία φωνητικού μοντέλου χρησιμοποιούνται ηχογραφήσεις ομιλίας, ελέγξτε τους όρους αποθήκευσης και επεξεργασίας δεδομένων. Δεν επιτρέπεται χωρίς άδεια να δημιουργείτε αντίγραφο της φωνής συνοικοδεσπότη, καλεσμένου, ηθοποιού μεταγλώττισης ή άλλου προσώπου. Για κοινές μεταδόσεις συμφωνήστε τη χρήση της φωνής εκ των προτέρων.

Πώς να δοκιμάσετε το νταμπλάρισμα πριν από την πρώτη μετάδοση

Ξεκινήστε με μία πρόσθετη γλώσσα και κλειστή μετάδοση. Ελέγξτε μια ήρεμη εξήγηση, μια γρήγορη αντίδραση παιχνιδιού, ένα αστείο, το όνομα ενός παιχνιδιού, το όνομα ενός χαρακτήρα, το γέλιο και μια απάντηση σε μήνυμα από το chat. Σημειώστε ξεχωριστά τις παραλείψεις, τις αλλαγές νοήματος, τα λάθη στα ονόματα και το πόσο η φωνή ταιριάζει με την εικόνα.

Ηχογραφήστε το αρχικό κανάλι και την έξοδο της εικονικής συσκευής ήχου ξεχωριστά. Χρησιμοποιήστε μια σύντομη λέξη-δείκτη μαζί με ένα παλαμάκι ή κλικ, για να μετρήσετε την καθυστέρηση από το ηχητικό σχήμα. Στη συνέχεια ακούστε το ίδιο υλικό μέσω ενός απομακρυσμένου θεατή στο Twitch ή το YouTube. Έτσι θα διαχωρίσετε την καθυστέρηση του νευρωνικού δικτύου από την προσωρινή αποθήκευση της πλατφόρμας.

Ζητήστε από έναν φυσικό ομιλητή της γλώσσας να αξιολογήσει μερικές φράσεις. Οι παρατηρήσεις του πρέπει να αφορούν την ακρίβεια της μετάφρασης, τη φυσικότητα των εκφράσεων, τους τονισμούς, τα ονόματα, τα αστεία και τις αγενείς διατυπώσεις. Στη συνέχεια διορθώστε το λεξικό και τις ρυθμίσεις και επαναλάβετε τη δοκιμή με τα ίδια παραδείγματα.

Ελέγξτε το σενάριο έκτακτης ανάγκης: απενεργοποιήστε την υπηρεσία, κλείστε την εικονική συσκευή και βεβαιωθείτε ότι ο θεατής εξακολουθεί να ακούει το αρχικό μικρόφωνο. Ηχογραφήστε τη δοκιμή μέσω ακουστικών και ηχείου τηλεφώνου, καθώς η επικάλυψη, το σφύριγμα και η πολύ δυνατή συνθετική φωνή γίνονται αντιληπτά διαφορετικά σε διαφορετικές συσκευές.

Συμπεράσματα: πώς να ξεκινήσετε πολυγλωσσικό νταμπλάρισμα

1. Προσδιορίστε αν το φορμάτ σας χρειάζεται φωνητική μετάφραση ή αν αρκούν οι υπότιτλοι.
2. Επιλέξτε μία πρόσθετη γλώσσα και μια υπηρεσία με επεξεργασία ροής, όχι μόνο με νταμπλάρισμα έτοιμων αρχείων.
3. Διαχωρίστε στο OBS το μικρόφωνο, το παιχνίδι, τη μουσική και τη μετάφραση, συνδέοντας το νταμπλάρισμα μέσω ξεχωριστής εξόδου ήχου.
4. Χρησιμοποιήστε ακουστικά και μην κατευθύνετε τα μεταφρασμένα ηχεία στο μικρόφωνο, για να αποφύγετε ηχώ και βρόχο.
5. Μετρήστε την καθυστέρηση τοπικά και ελέγξτε ξεχωριστά τη μετάδοση μέσω σύνδεσης θεατή στο Twitch ή το YouTube.
6. Ζητήστε από έναν φυσικό ομιλητή της γλώσσας να ελέγξει τη μετάφραση, ρυθμίστε το λεξικό και προετοιμάστε ένα κουμπί απενεργοποίησης του νταμπλαρίσματος.
7. Μετά την κλειστή δοκιμή επιλέξτε πολλά ηχητικά κανάλια, ξεχωριστές μεταδόσεις, εξωτερικό γλωσσικό κανάλι ή ηχογραφήσεις με μετάφραση.