Maximal Update Parametrization
Майкрософт выпустил статью о том, как можно перенести параметры с маленькой модели на большую, при этом получить результат лучше, чем просто тренируя большую модель.
Статья
GitHub
Post #73
836
- Feb 3, 2025Инженер LLM (Оптимизация и RL Alignment) Стартап в области безопасности ИИ Чем предстоит з…
- Oct 24, 2023🔥TensorRT-LLM 👉Ваш любимый нейронный ускоритель получил расширение! TensorRT - движок, к…
- Oct 15, 2023🧹Scrapper Инструмент для парсинга страниц с JS. Работает в докере, можно обращаться по ап…
- Oct 6, 2023🏅А кто сегодня молодец и взял Trending paper на Hugging Face, обогнав Google DeepMind и C…
- Oct 6, 2023Всем привет, мы строили строили и наконец построили! Первая супер-библиотека по spelling c…
- Oct 3, 2023⚡️Началось открытое голосование за номинантов премии HighLoad++. Среди прочих достойных но…