Wie neuronale Netze Spielereignisse finden und Clips erstellen

Was das neuronale Netz in einem Gaming-Stream erkennt

Die automatische Erstellung von Clips beschränkt sich längst nicht mehr darauf, einen Stream aufzuzeichnen und zufällig ein paar Minuten auszuwählen. Ein neuronales Netz analysiert Bild, Ton, Untertitel, Chatnachrichten und manchmal auch die Spieldaten selbst. Auf dieser Grundlage markiert es einen Moment, der einem wichtigen Ereignis ähnelt: ein Rundensieg, ein spektakulärer Frag, ein seltener Gegenstand, eine Niederlage gegen einen Boss, ein gelungenes Manöver oder eine emotionale Reaktion des Streamers.

Das System versteht das Spiel nicht so wie ein Zuschauer. Es sucht nach einer Kombination von Merkmalen. Auf dem Bildschirm verändert sich die Benutzeroberfläche, eine Siegesmeldung erscheint, die Lautstärke steigt plötzlich an, im Chat entsteht ein Nachrichtenschub, und die Stimme des Streamers wird emotionaler. Je mehr Signale übereinstimmen, desto höher ist die Wahrscheinlichkeit, dass es sich um einen passenden Ausschnitt handelt.

Bei manchen Lösungen werden Spieldaten oder eine Integration mit dem Aufnahmeprogramm genutzt. Bei anderen werden nur die Bilder und der Ton der Übertragung analysiert. Deshalb findet ein System Ereignisse in einem unterstützten Spiel zuverlässig, während ein anderes nur mit visuellen Merkmalen arbeitet und einen Moment ohne auffällige Veränderungen der Benutzeroberfläche verpasst.

Wie aus einem Ereignis ein fertiger Clip wird

Zunächst findet der Dienst einen potenziellen Moment und erweitert ihn dann zu einem vollständigen Ausschnitt. In den Clip gelangen in der Regel nicht nur der Sieg oder der Fehler selbst, sondern auch eine kurze Hinführung, die Reaktion nach dem Ereignis, ein Ausspruch des Streamers und ein Teil des Spielkontexts. Ohne dies kann dem Zuschauer unklar sein, warum die Episode wichtig ist.

Danach entfernt das System lange Pausen, wählt einen Teil der Tonspur aus, fügt Untertitel hinzu und kann eine vertikale Version vorbereiten. Der automatische Schnitt bestimmt nicht immer richtig Anfang und Ende: Ein zu kurzer Clip verliert seinen Sinn, ein zu langer funktioniert nicht mehr als Beitrag für Kurzvideos.

Die wichtigste Veränderung für den Streamer besteht nicht darin, vollständig auf den Schnitt zu verzichten. Das neuronale Netz übernimmt die erste Auswahl, und der Mensch prüft Kontext, Tempo, Ton, Untertitel und die Übereinstimmung mit den Regeln der Plattform. Der Schnitt beginnt nicht mit dem Ansehen des gesamten Streams, sondern mit der Prüfung der bereits gefundenen Kandidaten.

Wie man einen Stream für die Erkennung vorbereitet

Die Qualität der ursprünglichen Übertragung beeinflusst, welche Signale das System erkennt. Die Spieloberfläche, wichtige Benachrichtigungen und der Bereich mit der Spielfigur sollten nicht durch einen großen Rahmen, ein Werbeblock oder die Kamera verdeckt werden. Die Kamera platziert man am besten in einer Ecke, in der sie Rundenanzeigen, die Karte, Siegesmeldungen und andere Elemente, die auf ein Ereignis hinweisen können, nicht überdeckt.

Overlays sollten den mittleren Teil des Bildschirms frei lassen. Donation-Alerts und Animationen sollten möglichst auf einer separaten Ebene ausgegeben und nicht über die gesamte Szene gestreckt werden. Häufige Szenenwechsel, blinkende Elemente und ständig aufpoppende Nachrichten erschweren die Bildanalyse. Wenn ein wichtiges Ereignis durch eine kurze Meldung angezeigt wird, sollte diese lesbar bleiben und nicht mit dem Hintergrund verschmelzen.

Trennen Sie beim Ton Mikrofon, Spiel, Musik und Benachrichtigungen in separate Quellen. Die Stimme sollte nicht ständig von Musik oder lauten Effekten überlagert werden. Platzieren Sie das Mikrofon näher am Sprecher und prüfen Sie, dass das Signal bei emotionalen Äußerungen nicht verzerrt wird. Machen Sie vor der regulären Arbeit eine Testaufnahme: Zeigen Sie eine Spielszene, sprechen Sie einige Sätze und lösen Sie eine Benachrichtigung aus, und prüfen Sie dann, ob das System diese Quellen unterscheidet.

Wie man einen Dienst für die konkrete Aufgabe auswählt

Einen Dienst sollte man nicht nach der Anzahl der automatisch erstellten Clips auswählen, sondern danach, was man nach dem Stream damit vorhat. Prüfen Sie vor dem Test die unterstützten Spiele, die Aufnahmequelle, die verfügbaren Exportformate und die Möglichkeit, die Originaldatei ohne eingebettete Elemente herunterzuladen.

• Für kurze Clips sind die Erkennung von Spielereignissen, die präzise Einstellung von Anfang und Ende, das vertikale Format 9:16, automatische Untertitel und ein schneller Upload wichtig. Eklipse oder Powder lassen sich testen, wenn das benötigte Spiel und die Übertragungsquelle unterstützt werden. Medal ist als Werkzeug zum Aufnehmen und Speichern von Ausschnitten praktisch, und NVIDIA Highlights kann in kompatiblen Spielen wichtige Momente automatisch speichern.
• Für mehrsprachige Veröffentlichungen prüfen Sie die Liste der Sprachen, die Qualität der Spracherkennung, den Untertitel-Export und die Möglichkeit, getrennt mit der Original- und der übersetzten Tonspur zu arbeiten. Wenn Spielbegriffe und Namen wichtig sind, braucht man einen Texteditor oder ein Wörterbuch, in dem Fehler vor der Veröffentlichung korrigiert werden können.
• Für einen vollständigen Schnitt reicht die bloße Suche nach einem Moment nicht aus. Man braucht eine Zeitachse, manuelles Zuschneiden, die Arbeit mit mehreren Spuren, das Zuschneiden für verschiedene Plattformen, die Lautstärkeanpassung und einen Export ohne starke Längenbegrenzung. Ein Dienst, der nur Highlights findet, ersetzt keinen Schnitteditor.

Funktionen und Bedingungen der Dienste ändern sich, daher prüfen Sie vor dem Hochladen eines großen Archivs die aktuellen Einschränkungen. Manchmal ist es schneller, den Prozess aufzuteilen: Ein Programm zeichnet den Stream auf, ein Dienst findet Kandidaten, und die endgültige Zusammenstellung erfolgt im gewohnten Editor.

Untertitel, Übersetzung und der letzte Schritt der Veröffentlichung

Die Sprache im Stream kann ein zusätzliches Signal für die Clipsuche, Untertitel für das Ansehen ohne Ton oder die Grundlage für eine Version in einer anderen Sprache sein. Für die Transkription werden Whisper und darauf basierende Lösungen verwendet. Für die übersetzte Vertonung kann man Sprachsynthese-Werkzeuge einsetzen, darunter Azure AI Speech, Google Cloud oder ElevenLabs. Die Wahl hängt von der Sprache, dem Budget, der Verarbeitungsgeschwindigkeit und der Zulässigkeit der automatischen Arbeit mit der Stimme ab.

1. Die Tonspur wird von Spiel, Musik und Benachrichtigungen getrennt. Je klarer die Stimme, desto weniger Fehler in der Transkription.
2. Das System wandelt die Sprache in Text um und fügt Zeitstempel hinzu. Damit werden die Untertitel an die entsprechenden Sätze gebunden.
3. Der Text wird auf Wiederholungen, Bruchstücke, Slang, Spielernamen und Gegenstandsbezeichnungen geprüft. Die automatische Übersetzung irrt sich besonders häufig bei Spielbegriffen.
4. Das Veröffentlichungsformat wird gewählt: eingebettete Untertitel, eine separate Untertiteldatei, die Originalvertonung oder eine übersetzte Tonspur. Für einen kurzen Clip reicht in der Regel eingebetteter Text, und für mehrere Plattformen ist es praktischer, ein sauberes Video und eine separate Untertiteldatei zu speichern.

Der letzte Schritt darf nicht auf das Drücken der Export-Taste reduziert werden. Sehen Sie sich den Clip mit und ohne Ton an, prüfen Sie Anfang und Ende, die Lesbarkeit des Textes auf dem Smartphone, die Lautstärke der Stimme und die Übereinstimmung des vertikalen oder horizontalen Formats mit der Plattform. Prüfen Sie nach dem Upload separat das Vorschaubild, den Titel, die Beschreibung und die ausgewählten Untertitel. Einen Fehler im Namen einer Figur oder in der Übersetzung korrigiert man besser vor der Veröffentlichung als nach den ersten Kommentaren der Zuschauer.

Warum die Erkennung Fehler macht

Dasselbe Signal kann unterschiedliche Dinge bedeuten. Ein lauter Schrei kann eine Reaktion auf einen Sieg, Verärgerung über einen Fehler oder ein Tonproblem sein. Eine aufpoppende Meldung kann Teil einer Werbung sein, und ein aktiver Chat kann eine Reaktion auf ein Ereignis sein, das vor einigen Minuten stattgefunden hat.

Auch Verzögerungen beeinflussen das Ergebnis. Wenn das System eine lokale Aufnahme analysiert, kann es einen Moment früher markieren, als er im öffentlichen Stream erscheint. Bei der Verarbeitung einer Aufnahme von der Plattform wird das Ereignis später gefunden. Deshalb muss man Anfang und Ende des Clips anhand der Szene selbst prüfen und nicht nur anhand des Zeitpunkts der Benachrichtigung des Dienstes.

Für wichtige Veröffentlichungen sollte man eine manuelle Prüfung beibehalten. Achten Sie besonders auf Clips mit Übersetzung, Werbeeinblendungen, Donations und Ausschnitte, deren Kontext von den vorherigen Minuten des Streams abhängt. Das neuronale Netz beschleunigt die Suche nach Material, ist aber nicht für die redaktionelle Entscheidung und den Sinn der Veröffentlichung verantwortlich.

Kurze Fazits: Was Schritt für Schritt zu tun ist

1. Wählen Sie ein Spiel, eine Aufnahmequelle und die Art der Ereignisse, die gefunden werden sollen.
2. Halten Sie wichtige Elemente der Benutzeroberfläche frei von Kamera und großen Overlays, trennen Sie die Tonquellen und machen Sie eine Testaufnahme.
3. Vergleichen Sie die Dienste nach der Aufgabe: kurze Clips, mehrsprachige Versionen oder vollständiger Schnitt.
4. Speichern Sie das Originalvideo separat, und fügen Sie Untertitel, Übersetzung und Zuschnitt erst nach der Auswahl hinzu.
5. Prüfen Sie vor der Veröffentlichung den Kontext, Anfang und Ende des Clips, Text, Ton, Format und Vorschaubild.