местный датасасер ☮️

Помните, была тема с дипфейком Ким Кардашьян, объясняющей коротенькие темы из математики? Так вот, эти видео никуда не делись, а продолжают регулярно выходить. 💜

Замена переменной в интеграле:
https://youtu.be/4fF6NydCNuw?si=ydOJV2NpgbYq594y

Вывод производной x² из определения:
https://youtu.be/qPhLWfn-t_4?si=-uIogJ_sufxK-FNB

Цепное правило:
https://youtu.be/ulbmQJG5GrA?si=O5IHessFBNUF2pk4

Забавно и мило 😀

#математика

Dify, a visual workflow to build/test LLM applications (Score: 150+ in 11 hours)

Link: https://readhacker.news/s/66tN8
Comments: https://readhacker.news/c/66tN8

Моя колонка ко Дню Космонавтики. Про три альтернативных реальности, где его бы не было - и которые не стали реальными по чистой и ничтожной случайности.
https://www.gazeta.ru/comments/2018/04/13_a_11716141.shtml

Спотифай нашёл хорошее применение для больших языковых моделей — будут делать ии-плейлисты по пользовательским промптам. Пишешь "меня бросила девушка, врубай музыку, чтобы страдать", и специально по твоему запросу формируется плейлист. Если результат не совсем устроил, можно дать фидбек — "побольше треков Radiohead", например. Жду возможности потестить.

Если говорить про поиск (не в поисковиках, а скорее на контентных платформах), подобная реализация кажется мне очень удачной. Я бы хотела искать картинки в пинтересте, арты в твиттере, мемы на реддите или тиктоки в тиктоке не по ключевым словам, а по таким вот сложным запросам — то есть по ✨вайбам✨.

Всем коллегам из вк и Яндекса привет, надеюсь, что это у вас уже в планах 😏

🎉 Ровно 4 года назад был запущен @RoundDFBot 🌚

Он пережил несколько всплесков популярности и пару лет стагнации, но прошлой осенью мы смогли его выгодно продать и теперь он живет сам по себе

https://t.me/Loskirs/302

DBRX - новый лидер открытых моделек

Обгоняет все открытые модельки на большинстве бенчмарков, в том числе опубликованный неделю назад Grok (который в два раза больше). Лицензия похожая на лицензию ламы - все кто меньше телеграма могут спокойно использовать в своих коммерческих продуктах.

Архитектурно это Mixture of Experts (16 экспертов, из них 4 активных), 132 миллиарда параметров (из них 36 миллиардов - активные), тренировали пару месяцев на 3 тысячах H100 и 12 триллионах токенов, длина контекста - 32к, Модель тренировали в fp8, что дало 1.4x-1.5x прирост по сравнению с bf16. В целом она тренируется при том же компьюте в 4 раза эффективнее чем их же прошлогодняя MPT - 2x прироста идёт от MoE, 2x от датасета получше.

В минимальных требованиях - 320 гигабайт видеопамяти, что недоступно для простых смертных.

Демка
Instruct модель (доступ дают сразу после подписания лицензии)
Базовая модель (доступ одобряют отдельно)
Код
Блогпост с анонсом модели
Блогпост с деталями тренировки

@ai_newz

“Любая достаточно развитая технология неотличима от магии” (Артур Кларк)

Это — телефонный разговор с роботом на другом конце. Поражает скорость инференса всего этого на лету (800мс задержка до проигрывания ответа) и качество эмоций. Можно попробовать самому на их сайте (это действительно работает).

Приятно, что хорошая инженерия всё ещё может быть ключевой основой продукта.

Пятничная новость: куча товаров на Амазоне называются “I apologize but I cannot fulfill this request (because it violates OpenAI use Policy)” и подобными. Да, потому что выкладка товаров в магазины у многих уже автоматизирована через GPT. 2024, что ты делаешь, прекрати.

https://www.theverge.com/2024/1/12/24036156/openai-policy-amazon-ai-listings

С наступающим новым годом, друзья ☃️🎉

Компания Meta (запрещена в РФ) представила Fairy, нейросетевую систему для диффузионных моделей редактирования изображений. Ориентирована она на видео и его монтаж.

Идея в том, что система расставляет на кадрах готового видеоролика "якоря", на которые уже распространяет диффузионные особенности по кадрам. Это обеспечивает сгенерированному видео точность и похожесть на оригинал.

Применений такому масса, все показаны в ролике. Берёте видео с котиком, отдаёте модели, получаете то же самое видео, но уже с тигром. Берёте видео с собачкой, превращается его в видосик в стиле Ван Гога.

Fairy генерирует 120-кадровые видеоролики 512x384 пикселей (длительностью 4 секунды при 30 FPS) довольно шустро - всего за 14 секунд, превосходя предыдущие нейрости В СОРОК ЧЕТЫРЕ (44) раза.

Короче, если вы только-только привыкли к тому, что нейросети делают картиночки, начинайте привыкать к тому, что они будут делать видеоролики, а всему показанному в интернете вообще не надо будет верить никогда.

@zavtracast

OpenAI заключили сделку с немецкой издательской группой Axel Springer использовать в ChatGPT контент из платных разделов изданий, таких как Bild, Welt, Politico и Business Insider. Это расширит возможности ChatGPT и поддержит журналистику.

https://www.axios.com/2023/12/13/openai-chatgpt-axel-springer-news-deal

Хорошие новости в мире опенсорса: последняя публичная модель Mistral 8x7b Small догнала в результатах тестов уровень GPT 3.5

Почему это важно: у сообщества заняло примерно 1.5 года (GPT 3.5 добавили в API в марте 2022) чтобы достигнуть этих результатов, при довольно низких требованиях к железу.

Другие модели, которые в опенсорсе выдавали похожие результаты, были слишком большими чтобы простые смертные могли с ними поиграться – я, например, так и не смог завести модели на 120 миллиардов параметров дома, у них слишком конские требования, при этом новый Мистиаль ниже по требованиям к железу.

В ближайшую неделю-две нас ждет обилие файнтюнов от сообщества (с отключенным алайментом в том числе), так что я думаю, что GPT 3.5 не только догнали, но и вот-вот перегнали, с чем я всех нас и поздравляю.

Про модель можно почитать тут.

💥 Google представил Gemini — самого мощного конкурента GPT-4! Прочитал технический репорт, вот основные выводы простым языком:

• Новая нейронка почти по всем параметрам лучше GPT-4: смотрите пикчу.
• Это первый ИИ, который превосходит людей по метрике MMLU — машина впервые справилась с экзаменами из 57 категорий (от школьных до профессиональных) лучше, чем человек.
• Gemini мультимодальная и работает с любым контентом: текстом, кодом, аудио, изображениями и видео. На этом делают большой упор.
• Нейронку выкатят в открытый доступ 13 декабря через API, а в начале 2025 года она появится в Bard Advanced.

Со-основатель DeepMind Дэмис Хассабис заявил, что это большой шаг к созданию AGI. Похоже, на данный момент Gemini — самая большая и крутая ИИ-модель в мире!

@notboring_tech

🤯

Apple выпустили фреймворк для машинного обучения 😳
Имеется питоновый и плюсовый интерфейс, оптимизировано под apple silicon, внешне похоже на торч

99% AI стартапов увольняют своего CEO прямо перед созданием AGI
https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/

Что случилось за ночь 🎪:

– Судя по слухам, из-за увольнения Сэма сотрудники OpenAI начали увольняться в ощутимом для стартапа количестве – я еще давно читал, что атмосфера в OpenAI скорее похожа на культ, то есть многие там правда ради достижения AGI и любят Сэма как лидера, так что не удивлен.

– По разным источникам, добровольные увольнения членов команды напугало борду, они согласились взять назад Сэма и ушедших, а сама борда будет распущена (и видимо, те кто ее часть – покинет компанию). Это сейчас самый актуальный слух.

– Просто забавно: CEO Microsoft когда узнал про увольнение Альтмана был «в ярости».

– Сотрудники массово лайкают твит Сэма, в котором он признается в любви к OpenAI, что частично подтверждает теорию что его взяли назад и переворот завершился ничем.

Дальше AGI-цирк ушел спать, ждем подтверждения слухов вечером по нашему.

Если все подтвердится, то это, как по мне, еще одно подтверждение теории номер 2 выше и значит, алайнеры проиграли, что вызовет очередную волну паники в медиа в стиле «ученые которые хотели безопасного AI были уволены шок читать с подпиской»

ладно, ладно, предыдущий пост был шуткой. Но если у кого есть контакт Сэма, передайте, что я готов сделать его вторым админом бесплатно. У него ж теперь много свободного времени