​🚀 Учёные из Института искусственного интеллекта AIRI, совместно с коллегами из SberAI и «Сколтеха», обнаружили новое свойство крупных языковых моделей и научились его контролировать. Это открытие позволяет оптимизировать модели на 10–15% без потери качества. Кроме того, найденное свойство уменьшает количество вычислительных ресурсов, необходимых для их работы.

Статья с результатами исследований была принята на конференцию по искусственному интеллекту ACL 2024 (Main Track, Core A).

🗣 По словам представителей AIRI, трансформеры являются типом архитектуры моделей, который произвёл революцию в развитии ИИ. Благодаря этому типу архитектуры стало возможным создание популярных диалоговых ботов. Любая архитектура состоит из множества слоёв, через которые информация проходит от "входа" (например, запроса "нарисуй котёнка") до "выхода", преобразуясь в изображение.

Линейность слоёв характерна для слабых моделей, тогда как для сильных моделей, таких как трансформеры, характерна нелинейность. Линейность позволяет создавать более простые и эффективные в вычислениях модели, но она не даёт возможности решать сложные задачи и выявлять необычные закономерности в данных.

#AI_Новости

@AI4Business