مدل‌های تبدیل متن به گفتار (TTS) امروزی معمولاً صدایی خنثی و بدون احساس تولید میکنن که پس از گذشت زمان جذابیت خودشون رو از دست میدن. این موضوع باعث میشه تعامل با اونها خسته‌کننده شه.

برای رفع این مشکل، تیم Sesame مدل «Conversational Speech Model» یا CSM را معرفی کرده که به‌صورت یک مدل چند وجهی، هم متن و هم اطلاعات صوتی (از طریق توکن‌های صوتی) رو همزمان پردازش می‌کنه.

توکن‌ های معنایی برای درک کلی محتوا و ویژگی‌های زبانی

توکن‌ های صوتی برای بازسازی جزئیات دقیق صدا مانند لحن و هویت گوینده

کیفت خروجی تولیدی به جرات میشه گفت از advanced voice چت جی پی تی بالاتره!

امیدواریم این مدل به زودی بصورت متن باز منتشر شه تا بتونیم با دیتای فارسی آموزشش بدیم!(در فایل نمونه کمی با طرفداران استقلال شوخی کردیم)

لینک دمو:

https://www.sesame.com/research/crossing_the_uncanny_valley_of_voice#demo