طوفان برت، speech را هم در نوردید!


مدل‌های پیشرو در مبحث بازشناسی گفتار (تبدیل گفتار به متن) مثل این مقاله تا به امروز معمولا برای اینکه بازشناسی به صورت انتها به انتها انجام شود، از پشته‌ای از لایه‌های کانولوشنی برای مدلسازی گفتار استفاده می‌کردند و مدل زبانی به عنوان بخشی از تابع هزینه در نظر گرفته می‌شد؛ به این صورت که لایه آخر به ازای هر حرف در دیکشنری یه امتیاز برمی‌گردوند و این امتیاز با امتیاز مدل زبانی ترکیب می‌شد و حرف بازشناسی‌شده معین می‌شد.
حالا داداشای تایوانی‌مون در مقاله‌ی زیر اومدند و گفتند که اصل داستان مدل زبانیه و مدلسازی صوت، نمک قضیه ست! میشه مدل زبانی را به صورت main stream هم در تسک آورد یعنی بخشی از معماری شبکه باشد و نه فقط در تابع هزینه! چه طوری؟ با برت.
نتیجه اینکه مدل زبانی، تعداد انتخاب در هر لحظه رو به شدت کاهش میده و مدل گفتار میشه یه شبکه ساده که قراره از بین اون انتخاب‌های بسیار کوچیک حالا انتخاب کنه. فاین تیون کردنش هم خیلی راحت‌تره.
خلاصه اینکه ماهیت تسک انتها به انتهاتر و هلو شده! این اتفاق بار دیگه داره جایگاه مهم مدل زبانی را حتی در مباحث گفتار پردازی ثابت می‌کنه!



لینک مقاله:
https://arxiv.org/pdf/2102.00291.pdf

#paper
#read
.
@nlp_stuff