Big Data AI

⭐️Гарантированно валидный JSON на выходе от LaminiAI

Вопрос: а вообще, почему структурированный вывод JSON - это так сложно?

LLM, как мы знаем, в основном основаны на архитектуре transformer, которая использует авторегрессивный генератор. Трансформер рассматривает каждое слово как лексему и генерирует одну лексему за раз. LLM не может вернуться назад и исправить результат после его генерации, что делает последовательный вывод JSON очень сложным.

🌟 В то же самое время товарищи из LaminiAI решили эту проблему на корню

Отделение процессов генерации отдельных лексем с помощью машины состояний с поддержкой пакетной обработки, потоковой передачи и KV-кеша — вот что они сделали.
И в результате модель гарантированно выдаёт правильный, валидный JSON

@bigdatai

✍️ Команда Яндекса поделилась процессом обучения модели YandexGPT, пересказывающей видео в Браузере

Некоторые тезисы из публикации на Хабре:
— YandexGPT для пересказа статей не подходит для суммаризации видео: порядок тезисов не всегда совпадает с таймлайном;
— Важные продуктовые требования: адаптация под длину контента и помощь в навигации;
— Два основных критерия для оценки качества модели: качество выделения частей и качество тезисов;
— Сочетание LoRa и fine-tune позволяет эффективно использовать преимущества обоих методов для пересказа видео.

Сама статья

@bigdatai

⚡️ Новый мультимодальный arXiv: Датасет для улучшения научного понимания больших моделей языка визуализации

proj: https://mm-arxiv.github.io
abs: https://arxiv.org/abs/2403.00231

@bigdatai

🌲 Датасет Finn Woodlands

Новый набор данных о лесах под названием FinnWoodlands, который состоит из стереоизображений RGB, облаков точек и карт разреженной глубины, а также справочных аннотаций для семантической сегментации.

▪Github

@bigdatai

⚡️ Microsoft опубликовали статью Towards Optimal Learning of Language Models

В данной работе изучаются общие принципы улучшения обучения языковых моделей (ЯМ), целью которых является сокращение необходимых шагов обучения для достижения высокой производительности.

В частности представлена теорию оптимального обучения ЛМ. Цель оптимизация обучение ЛМ путем максимизации коэффициента сжатия данных в представлении "LM-training-as-lossless-compression".

Авторы выводят теорему, названную законом обучения, которая раскрывает свойства динамики в процессе оптимального обучения.

Теорема подтверждается экспериментами на линейной классификации и реальной задаче моделирования языка.

Наконец, авторы эмпирически доказывают, что оптимальное обучение LM в основном связано с улучшением коэффициентов в законе масштабирования LM, что указывает на большие перспективы и значение для разработки практических методов ускорения обучения.

https://huggingface.co/papers/2402.17759

@bigdatai

⚡️ Training Neural Networks From Scratch with Parallel Low-Rank Adapters

Предварительное обучение с нуля с помощью LoRA на нескольких GPU.

Статья: https://arxiv.org/abs/2402.16828
Проект: https://minyoungg.github.io/LTE/

@bigdatai

⚡️ Streamline Analyst: A Data Analysis AI Agent

Streamline-Analyst ИИ-агент на базе LLM, который оптимизирует весь процесс анализа данных.

▪Github

@bigdatai

🔥 Выпуск Mistral Large! Новый флагманский LLM.

Он превосходит GPT3.5 и LLaMa 2 70B во всех бенчмарках.

- Свободно владеет английским, французским, испанским, немецким и итальянским языками
- Контекстное окно на 32 тыс. лексем
- точное следование инструкциям
- встроенная возможность вызова функций

▪Дополнительная информация: https://mistral.ai/news/mistral-large/

▪Попробовать можно здесь: http://chat.mistral.ai

@bigdatai

⚡️ Шпаргалка по ML

Нереальной полезности пост — ловите Cheatsheet по Machine Learning, тут разобраны самые основные понятия и даже больше:
❯ метод понижения размерности PCA
❯ ложноположительные, ложноотрицательные ошибки
❯ наивный Байесовский классификатор
❯ регрессионный анализ
❯ регуляризация
❯ архитектура, устройство, известные реализации нейронных сетей CNN
❯ базовые структуры данных: массив, связный список, стек, очередь, хеш-таблица, дерево

Поможет без проблем подготовиться к собесу и освежить знания

📁 PDF

@data_analysis_ml

👉 Awesome AWS

Кураторский Список библиотек Amazon Web Services (AWS), репозиториев с открытым исходным кодом, руководств, блогов и других ресурсов.

🔗 https://github.com/donnemartin/awesome-aws

@bigdatai

🚀 Advances in private training for production on-device language models

Языковые модели, предсказывающие следующее слово, являются ключевой технологией для многих ИИ приложений. Узнайте, как многолетние исследования стали основой обучения языковых моделей Google

• Статья

@bigdatai