دوبله صوتی هوش مصنوعی متا: ترجمه ویدیو با صدای خودتان در فیس‌بوک و اینستاگرام

به گزارش دیتاسنتر من، این ویژگی به تولیدکنندگان محتوای Reels امکان می‌دهد صدای خود را با بهره‌گیری از فناوری لب‌خوانی به زبان دیگری تبدیل کنند. این قابلیت نخستین‌بار در کنفرانس Meta Connect ۲۰۲۴  توسط مارک زاکربرگ معرفی شد.

در مرحله نخست، سرویس دوبله صوتی تنها از ترجمه انگلیسی به اسپانیایی و برعکس پشتیبانی می‌کند و قرار است به‌تدریج زبان‌های بیشتری به آن افزوده شود. بر اساس برنامه متا، این قابلیت در فیس‌بوک صرفاً برای تولیدکنندگانی فعال خواهد بود که بیش از هزار دنبال‌کننده دارند، در حالی که در اینستاگرام برای تمامی حساب‌های عمومی قابل استفاده است.

عملکرد این ابزار بدین‌صورت است که مدل هوشمند، صدای اصلی کاربر را تحلیل و بر اساس آن یک نسخه ترجمه‌شده تولید می‌کند؛ نسخه‌ای که لحن کاربر را تقلید کرده و با استفاده از فناوری همگام‌سازی لب، حرکات دهان را نیز با ترجمه مطابقت می‌دهد. پیش از انتشار، کاربران امکان مشاهده پیش‌نمایش خروجی را خواهند داشت و مخاطبان نیز از طریق اعلان مطلع می‌شوند که صدا به‌وسیله هوش مصنوعی تولید شده است.

به گفته متا، بهترین کارایی این قابلیت زمانی است که گوینده مستقیماً در مقابل دوربین صحبت کند. همچنین توصیه شده است که در هنگام ضبط، از پوشاندن دهان یا افزودن موسیقی پس‌زمینه با صدای بلند خودداری شود. این ابزار حتی قادر است صدای دو گوینده را در یک ویدیو پردازش کند، مشروط بر آن‌که صدای آنها هم‌زمان تداخل نداشته باشد.

پیش از این، یوتیوب نیز در سال گذشته ویژگی مشابهی را معرفی کرده بود. همچنین شرکت اپل در نسخه iOS ۱۲ ابزارهای ترجمه هم‌زمان را به برنامه‌های Messages، Phone و FaceTime افزود.