โครงข่ายประสาทเทียมค้นหาเหตุการณ์ในเกมและสร้างคลิปได้อย่างไร

สิ่งที่ AI มองเห็นในสตรีมเกม

การสร้างคลิปอัตโนมัติไม่ได้จำกัดอยู่แค่การบันทึกสตรีมแล้วสุ่มเลือกช่วงเวลาสองสามนาทีอีกต่อไป AI วิเคราะห์ภาพ เสียง คำบรรยาย ข้อความในแชท และบางครั้งก็ข้อมูลจากตัวเกมเอง จากข้อมูลเหล่านี้ มันจะระบุช่วงเวลาที่ดูเหมือนเหตุการณ์สำคัญ เช่น การชนะในรอบ การสังหารที่สวยงาม ไอเทมหายาก การเอาชนะบอส การเคลื่อนไหวที่ประสบความสำเร็จ หรือปฏิกิริยาทางอารมณ์ของสตรีมเมอร์

ระบบไม่ได้เข้าใจเกมเหมือนที่ผู้ชมเข้าใจ มันมองหาการรวมกันของสัญญาณต่างๆ บนหน้าจออินเทอร์เฟซเปลี่ยนแปลง มีข้อความแจ้งชัยชนะปรากฏขึ้น ระดับเสียงเพิ่มขึ้นอย่างรวดเร็ว ในแชทมีข้อความทะลักเข้ามา และเสียงของสตรีมเมอร์มีอารมณ์มากขึ้น ยิ่งมีสัญญาณที่ตรงกันมากเท่าไร โอกาสที่เราจะได้ช่วงเวลาที่เหมาะสมก็ยิ่งสูงขึ้น

ในบางโซลูชันมีการใช้ข้อมูลจากเกมหรือการเชื่อมต่อกับโปรแกรมบันทึกหน้าจอ ในโซลูชันอื่นจะวิเคราะห์เฉพาะภาพและเสียงของการถ่ายทอดสด ดังนั้นระบบหนึ่งจะค้นหาเหตุการณ์ในเกมที่รองรับได้อย่างมั่นใจ ในขณะที่อีกระบบทำงานกับสัญญาณภาพเท่านั้นและพลาดช่วงเวลาที่ไม่มีการเปลี่ยนแปลงอินเทอร์เฟซที่ชัดเจน

เหตุการณ์กลายเป็นคลิปสำเร็จรูปได้อย่างไร

ขั้นแรก บริการจะค้นหาช่วงเวลาที่เป็นไปได้ แล้วขยายออกไปเป็นคลิปที่สมบูรณ์ โดยปกติคลิปจะไม่ใช่แค่ชัยชนะหรือความผิดพลาดเท่านั้น แต่ยังรวมถึงการเกริ่นนำสั้นๆ ปฏิกิริยาหลังเหตุการณ์ คำพูดของสตรีมเมอร์ และบริบทของเกมบางส่วนด้วย หากไม่มีสิ่งเหล่านี้ ผู้ชมอาจไม่เข้าใจว่าทำไมตอนนั้นถึงสำคัญ

จากนั้นระบบจะตัดช่วงหยุดยาวออก เลือกส่วนของแทร็ก เพิ่มคำบรรยาย และอาจเตรียมเวอร์ชันแนวตั้ง การตัดต่ออัตโนมัติไม่ได้ระบุจุดเริ่มต้นและจุดสิ้นสุดได้ถูกต้องเสมอไป: คลิปที่สั้นเกินไปจะเสียความหมาย ส่วนคลิปที่ยาวเกินไปก็ไม่ทำงานในฐานะโพสต์สำหรับวิดีโอสั้น

การเปลี่ยนแปลงหลักสำหรับสตรีมเมอร์ไม่ได้อยู่ที่การละทิ้งการตัดต่อทั้งหมด AI เข้ามารับหน้าที่คัดเลือกเบื้องต้น ส่วนคนตรวจสอบบริบท จังหวะ เสียง คำบรรยาย และความสอดคล้องกับกฎของแพลตฟอร์ม การตัดต่อเริ่มต้นจากการตรวจสอบผู้สมัครที่ถูกค้นพบแล้ว ไม่ใช่จากการดูสตรีมทั้งหมด

เตรียมสตรีมให้พร้อมสำหรับการจดจำ

คุณภาพของการถ่ายทอดสดต้นทางส่งผลต่อสัญญาณที่ระบบจะมองเห็น ไม่ควรปิดอินเทอร์เฟซเกม การแจ้งเตือนสำคัญ และพื้นที่ตัวละครด้วยกรอบขนาดใหญ่ บล็อกโฆษณา หรือกล้อง ควรวางกล้องไว้ที่มุมซึ่งไม่บังตัวบ่งชี้รอบ แผนที่ การแจ้งเตือนชัยชนะ และองค์ประกอบอื่นๆ ที่อาจบ่งบอกถึงเหตุการณ์

โอเวอร์เลย์ควรเว้นพื้นที่ตรงกลางหน้าจอว่างไว้ ควรแสดงดอนเนชันอเลิร์ตและแอนิเมชันเป็นเลเยอร์แยกและไม่ขยายเต็มฉาก การเปลี่ยนฉากบ่อย องค์ประกอบที่กะพริบ และข้อความป๊อปอัปที่ขึ้นตลอดเวลาทำให้การวิเคราะห์ภาพยากขึ้น หากเหตุการณ์สำคัญแสดงด้วยข้อความสั้นๆ ข้อความนั้นควรอ่านได้ชัดและไม่กลืนกับพื้นหลัง

สำหรับเสียง ให้แยกไมโครโฟน เกม เพลง และการแจ้งเตือนออกเป็นแหล่งสัญญาณแยกกัน เสียงพูดไม่ควรถูกกลบด้วยเพลงหรือเอฟเฟกต์เสียงดังตลอดเวลา วางไมโครโฟนให้ใกล้ผู้พูดและตรวจสอบว่าสัญญาณไม่บิดเบี้ยวในช่วงที่มีคำพูดเต็มไปด้วยอารมณ์ ก่อนใช้งานเป็นประจำ ให้บันทึกทดสอบ: แสดงฉากเกม พูด几句话 และเปิดการแจ้งเตือน จากนั้นตรวจสอบว่าระบบแยกแยะแหล่งสัญญาณเหล่านี้ได้

เลือกบริการให้เหมาะกับงาน конкретную

ควรเลือกบริการไม่ใช่จากจำนวนคลิปที่สร้างอัตโนมัติ แต่จากสิ่งที่คุณจะทำหลังสตรีม ก่อนทดสอบ ให้ตรวจสอบเกมที่รองรับ แหล่งบันทึก รูปแบบการส่งออกที่มีให้ และความเป็นไปได้ในการดาวน์โหลดไฟล์ต้นฉบับโดยไม่มีองค์ประกอบฝังอยู่

• สำหรับคลิปสั้น สิ่งสำคัญคือการจดจำเหตุการณ์ในเกม การตั้งค่าจุดเริ่มต้นและจุดสิ้นสุดอย่างแม่นยำ รูปแบบแนวตั้ง 9:16 คำบรรยายอัตโนมัติ และการอัปโหลดที่รวดเร็ว สามารถทดลอง Eklipse หรือ Powder ได้หากเกมและแหล่งสตรีมที่ต้องการได้รับการรองรับ Medal เหมาะสมในฐานะเครื่องมือบันทึกและบันทึกช่วงเวลาต่างๆ ส่วน NVIDIA Highlights สามารถบันทึกช่วงเวลาสำคัญในเกมที่รองรับได้โดยอัตโนมัติ
• สำหรับการเผยแพร่หลายภาษา ให้ตรวจสอบรายการภาษา คุณภาพการจดจำเสียงพูด การส่งออกคำบรรยาย และความเป็นไปได้ในการทำงานแยกกับแทร็กต้นฉบับและแทร็กแปล หากคำศัพท์ในเกมและชื่อต่างๆ สำคัญ จำเป็นต้องมีโปรแกรมแก้ไขข้อความหรือพจนานุกรมที่สามารถแก้ไขข้อผิดพลาดได้ก่อนเผยแพร่
• สำหรับการตัดต่อเต็มรูปแบบ การค้นหาช่วงเวลาเพียงอย่างเดียวไม่เพียงพอ จำเป็นต้องมีไทม์ไลน์ การตัดต่อด้วยมือ การทำงานกับหลายแทร็ก การครอปสำหรับแพลตฟอร์มต่างๆ การปรับระดับเสียง และการส่งออกโดยไม่มีข้อจำกัดด้านความยาวที่เข้มงวด บริการที่เพียงแค่ค้นหาไฮไลต์ไม่สามารถแทนที่โปรแกรมตัดต่อได้

ฟังก์ชันและเงื่อนไขของบริการต่างๆ เปลี่ยนแปลงได้ ดังนั้นก่อนอัปโหลดคลังขนาดใหญ่ ให้ตรวจสอบข้อจำกัดปัจจุบัน บางครั้งการแบ่งกระบวนการอาจเร็วกว่า: โปรแกรมหนึ่งบันทึกสตรีม บริการหนึ่งค้นหาผู้สมัคร และการประกอบขั้นสุดท้ายทำในโปรแกรมตัดต่อที่คุ้นเคย

คำบรรยาย การแปล และขั้นตอนสุดท้ายของการเผยแพร่

คำพูดในสตรีมอาจเป็นสัญญาณเพิ่มเติมสำหรับการค้นหาคลิป เป็นคำบรรยายสำหรับการรับชมโดยไม่เปิดเสียง หรือเป็นพื้นฐานสำหรับเวอร์ชันในภาษาอื่น สำหรับการถอดความ มีการใช้ Whisper และโซลูชันที่สร้างบนพื้นฐานของมัน สำหรับการพากย์เสียงแปล สามารถใช้เครื่องมือสังเคราะห์เสียงพูด รวมถึง Azure AI Speech, Google Cloud หรือ ElevenLabs การเลือกขึ้นอยู่กับภาษา งบประมาณ ความเร็วในการประมวลผล และความเหมาะสมของการทำงานอัตโนมัติกับเสียง

1. แยกแทร็กเสียงออกจากเกม เพลง และการแจ้งเตือน ยิ่งเสียงพูดสะอาดเท่าไร ข้อผิดพลาดในการถอดความก็ยิ่งน้อยลงเท่านั้น
2. ระบบแปลงเสียงพูดเป็นข้อความและเพิ่มการประทับเวลา คำบรรยายจะถูกผูกกับวลีที่ต้องการตามข้อมูลเหล่านี้
3. ตรวจสอบข้อความสำหรับการซ้ำ คำที่ขาดหาย แสลง ชื่อผู้เล่น และชื่อไอเทม การแปลอัตโนมัติมักผิดพลาดในคำศัพท์เฉพาะของเกมบ่อยเป็นพิเศษ
4. เลือกรูปแบบการเผยแพร่: คำบรรยายฝังในวิดีโอ ไฟล์คำบรรยายแยก เสียงต้นฉบับ หรือแทร็กแปล สำหรับคลิปสั้นโดยปกติข้อความฝังในวิดีโอก็เพียงพอ ส่วนสำหรับหลายแพลตฟอร์ม การเก็บวิดีโอสะอาดและไฟล์คำบรรยายแยกจะสะดวกกว่า

ขั้นตอนสุดท้ายไม่ควรลดเหลือแค่การกดปุ่มส่งออก ดูคลิปทั้งแบบเปิดเสียงและไม่เปิดเสียง ตรวจสอบจุดเริ่มต้นและจุดสิ้นสุด ความอ่านได้ของข้อความบนโทรศัพท์ ระดับเสียงพูด และความสอดคล้องของรูปแบบแนวตั้งหรือแนวนอนกับแพลตฟอร์ม หลังอัปโหลด ให้ตรวจสอบภาพตัวอย่าง หัวข้อ คำอธิบาย และคำบรรยายที่เลือกแยกต่างหาก ข้อผิดพลาดในชื่อตัวละครหรือการแปลควรแก้ไขก่อนเผยแพร่ ไม่ใช่หลังความคิดเห็นแรกของผู้ชม

ทำไมการจดจำถึงผิดพลาด

สัญญาณเดียวกันอาจหมายถึงสิ่งต่างๆ ได้ เสียงตะโกนดังอาจเป็นปฏิกิริยาต่อชัยชนะ ความหงุดหงิดจากความผิดพลาด หรือปัญหาเรื่องเสียง ข้อความป๊อปอัปอาจเป็นส่วนหนึ่งของโฆษณา และแชทที่คึกคักอาจเป็นปฏิกิริยาต่อเหตุการณ์ที่เกิดขึ้นเมื่อหลายนาทีก่อน

ความล่าช้าก็ส่งผลต่อผลลัพธ์เช่นกัน หากระบบวิเคราะห์การบันทึกในเครื่อง มันอาจระบุช่วงเวลาก่อนที่เหตุการณ์จะปรากฏในสตรีมสาธารณะ เมื่อประมวลผลการบันทึกจากแพลตฟอร์ม เหตุการณ์จะถูกค้นพบช้ากว่า ดังนั้นจึงต้องตรวจสอบจุดเริ่มต้นและจุดสิ้นสุดของคลิปจากฉากจริง ไม่ใช่แค่จากเวลาของการแจ้งเตือนจากบริการเท่านั้น

สำหรับการเผยแพร่ที่สำคัญ ให้คงการตรวจสอบด้วยมือไว้ ให้ความสนใจเป็นพิเศษกับคลิปที่มีการแปล แทรกโฆษณา ดอนเนชัน และช่วงที่บริบทขึ้นอยู่กับหลายนาทีก่อนหน้าของสตรีม AI ช่วยเร่งการค้นหาเนื้อหา แต่ไม่รับผิดชอบต่อการตัดสินใจเชิงบรรณาธิการและความหมายของการเผยแพร่

สรุปสั้นๆ: ทำอะไรบ้างทีละขั้นตอน

1. เลือกเกมหนึ่งเกม แหล่งบันทึก และประเภทเหตุการณ์ที่ต้องการค้นหา
2. ปลดปล่อยองค์ประกอบอินเทอร์เฟซสำคัญจากกล้องและโอเวอร์เลย์ขนาดใหญ่ แยกแหล่งเสียง และบันทึกทดสอบ
3. เปรียบเทียบบริการตามงาน: คลิปสั้น เวอร์ชันหลายภาษา หรือการตัดต่อเต็มรูปแบบ
4. เก็บวิดีโอต้นฉบับแยกไว้ และเพิ่มคำบรรยาย การแปล และการครอปหลังการคัดเลือก
5. ก่อนเผยแพร่ ตรวจสอบบริบท จุดเริ่มต้นและจุดสิ้นสุดของคลิป ข้อความ เสียง รูปแบบ และภาพตัวอย่าง