ارائه یک الگوریتم برای تبدیل صوت به ویدئو

دانشمندان الگوریتم‌های کامپیوتری جدیدی را ایجاد کرده‌اند که می‌توانند کلیپ‌های صوتی را به یک ویدیوی همگام سازی شده با شخصی که این کلمات را می‌گوید تبدیل کنند.

به نقل از زی‌نیوز، محققان با موفقیت ویدیوهای بسیار طبیعی و واقعی از باراک اوباما، رئیس جمهور سابق آمریکا درباره تروریسم، والدین، ایجاد شغل و سایر موضوعات، با استفاده از کلیپ‌های صوتی از این سخنرانی‌ها ایجاد کردند.

ایرا کیملمچر شلیزرمن، استادیار دانشگاه واشنگتن (UW) در ایالات متحده گفت: "تاکنون چنین کاری هرگز انجام نشده بود."

وی افزود: تبدیل صوت به ویدئو می‌تواند در برنامه‌های کاربردی مانند بهبود جلسات ویدئو کنفرانس و همچنین مواردی مانند داشتن گفتگو با شخصیت تاریخی در واقعیت مجازی با ایجاد تصاویری از آن فرد با استفاده از صوت وی مورد استفاده قرار گیرد.

این سیستم در هنگام سازی صوت با لب فرد، فایل‌های صوتی فرد را به شکل حرکت واقعی دهان تبدیل کرده که بعد از آن این قسمت جدا شده و بر روی سر همان فرد در ویدئوی دیگری قرار داده می‌شود.

این تیم اوباما را انتخاب کرد زیرا تکنیک یادگیری ماشینی برای یادگیری این کار نیازمند ویدیوی شخصی است که موجود و در دسترس باشد و از اوباما ساعت‌ها فیلم در همه جا وجود دارد.

ایرا کیملمچر شلیزرمن اظهار کرد: در آینده، ابزارهای چت مانند اسکایپ یا مسنجر همه افراد را قادر می‌سازد تا فیلم هایی را که می‌توان برای مدل سازی مدل های کامپیوتری استفاده کرد جمع آوری کنند.

از آنجا که فرستادن پیامهای صوتی به پهنای باند کمتری نسبت به ویدیو نیاز دارند، سیستم جدید به طور بالقوه برای پایان دادن به چت‌های ویدئویی که به طور مداوم و به دلیل اتصالات نامناسب قطع می‌شوند، توسعه یافته است.