Горизонт сингулярности

Модели становятся все легче, для универсального переводчика самое то.

Гуглим симптомы правильно: новая нейронка Med Up станет вашим личным ВРАЧОМ — поможет определить болячку по симптомам, даст советы по здоровью и т. п.

• Самое крутое — Med Up ищет инфо только в проверенных источниках, одобренных ВОЗ, а не просто с Google.
• Там есть качественные медицинские материалы — БЕСПЛАТНО.
• Удобный интерфейс с поддержкой русского языка.

Чекаем здоровье тут, но про настоящего врача не забываем 🪨

Из предложки, думаю про здоровье всем будет интересно :)

📌Скорость решает все: обзор эффективных архитектур для LLM.

Ландшафт архитектур LLM превратился в настоящий зоопарк. Почти каждую неделю появляются новые методы, обещающие меньший расход памяти и более быстрый инференс. Разобраться в этом становится все сложнее.

Большая группа исследователей выпустила подробный обзор Speed Always Wins, чтобы систематизировать все ключевые инновации в области эффективных архитектур для LLM.

Это не просто очередная статья, а попытка упорядочить и структурировать актуальные подходы, которые решают главную проблему классического трансформера - его квадратичную вычислительную сложность.

Обзор описывает 7 основных направлений.

🟡Линейное моделирование последовательностей.

Здесь авторы разбирают все подходы, которые так или иначе сводят сложность самовнимания к линейной. В эту категорию попадают 3 большие ветви: линейное внимание; линейные RNN, вроде и, конечно, модели на основе пространства состояний (SSM).

🟡Второе и третье направления посвящены идее разреженности.

Разреженное моделирование последовательностей основано на простом принципе: не каждый токен должен общаться с каждым. Здесь выделяются статические подходы (как в Longformer), где паттерны внимания заданы заранее, и динамические, где они определяются на лету в зависимости от контента.

🟡MoE.

Методика, которая уже стала мейнстримом. В МоЕ разреженность применяется не в механизме внимания, а в FFN-слоях, где для каждого токена активируется лишь небольшая часть экспертов, что позволяет наращивать число параметров без пропорционального роста вычислений.

🟡Четвёртый раздел - эффективное полное внимание.

В нем речь идет не об изменении асимптотической сложности, а об ее аппаратной оптимизации. Флагман - FlashAttention.

Есть детальный разбор, как за счет оптимизации обращений к памяти GPU удается кардинально ускорить вычисления, не прибегая к аппроксимациям. Сюда же относятся и групповые механизмы внимания: GQA и MQA.

🟡Гибридные архитектуры.

Это, пожалуй, самый горячий тренд. Его идея в том, чтобы стратегически комбинировать быстрые слои с линейной сложностью и медленные, но мощные слои с полным вниманием.

В обзоре выделяют два типа гибридизации: межслойную, как в Jamba, где разные типы слоев чередуются, и внутрислойную, где в одном слое разные головы могут использовать разные механизмы внимания.

 🟡Диффузионные LLM (DLLM) 
 
 Это неавторегрессионные модели, которые генерируют текст, постепенно восстанавливая его из шума. Их главная фишка в параллельном декодировании, что дает ощутимое ускорение инференса.
 
 В конце обзора есть анализ применения всех этих архитектур в разных модальностях - CV и аудио.


Так что, если хотите быстро разобраться в базовых методах, которые будут двигать дизайн LLM в ближайшее время, а двигаться он будет в сторону микширования алгоритмов, систем и железа, этот обзор - мастрид.


🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Architectures

Мне кажется уже все запутались в архитектурах :) особенно актуально для тех кто хочет сочетать модели. Тут доступно расписано, что да как.

Немного документов

Как склеить модель: экономия на обучении

За год количество моделей в мире в целом, а на HuggingFace в частности, выросло с сотен тысяч до миллионов.

Хитрые товарищи подумали, а чего мы будем учить каждый раз модели с нуля (тратить на эту историю от $500К и выше), если можно взять успешные варианты узко-специализированных моделей и собрать из них одно целое, потратив в 1000 раз меньше.

Например, японская компания Sakana AI создала модель с отличной математикой, объединив японскую языковую модель с математическим файнтюном.

На практике это выглядит так: берем модель-эксперта по программированию, модель для математических задач и модель для общения, а затем объединяем их навыки в одной системе.

Весь процесс занимает выходные на обычном домашнем компьютере.

Работает это пока только для моделей одинаковой архитектуры — например, все варианты Llama легко объединяются между собой.

#modelmerging #обучение
———
@tsingular

Для тех кто все еще верит, что модели надо учить

7 универсальных промптов для контент-мейкеров — добавьте их в свой арсенал, чтобы резко поднять уровень текстов, улучшить креатив и прокачать конверсии. Используя эти шаблоны, вы сможете создавать материалы, которые реально выделяются на фоне большинства и зарабатывать больше конкурентов.

1️⃣ Просим ИИ мыслить как стратег.

«Реши задачу пошагово:
1. Сначала уточни ЦЕЛЬ (что измеряем), АУДИТОРИЮ и КАНАЛ.
2. Разбей задачу на подзадачи (исследование → сообщения → контент-форматы → дистрибуция).
3. Для каждой подзадачи дай действия и критерии готовности.
4. Проверь логику и риски.
5. Дай финальный план и первый шаг на сегодня.»

2️⃣ Превращаем нейронку в синьора-контентщика с 10+ лет опыта и заставляем копнуть максимально глубоко в ЛЮБОЙ вопрос.

«Ты — Head of Content/CMO с 10+ лет опыта в [ниша]. Проанализируй мою бизнес-модель и контент-стратегию как для клиента за $50k: ICP, боли/триггеры, ценностные сообщения, тон голоса, каналы, карта тем на квартал. Будь критичен и конкретен; каждый тезис подкрепляй примером.»

3️⃣ Просим жестко разобрать ошибки и показать слабые места в текстах, лендингах, УТП и общении с аудиторией.

«Я дам идею/лендинг/пост. Найди все слабые места: кому непонятно, где скучно, где нет доверия, где нет next step. Предложи альтернативы: заголовки, лиды, оффер, CTA, доказательства. Будь жёстким критиком.»

4️⃣ Предложи сразу 3 идеи информкампании или решения любой проблемы в маркетинге.

«Дай 3 кардинально разных решения для [задача/кампания]:
• Консервативное — минимум рисков, быстрое внедрение.
• Агрессивное — максимум охвата/результата за счёт смелых ходов.
• Креативное — нестандарт, который выделит нас.
Для каждого: ресурсы, сроки, метрики успеха, пример контента.»

5️⃣ Просим разжевать любую сложную идею или фичу. ИИ объяснит вам как ребенку и даст контекст для решения задач.

«Объясни [сложную тему/фичу] так, чтобы понял 5-летний ребёнок: 3 метафоры, 2 жизненных примера, 1 аналогия. Без потери сути. Сверстай из этого карусель: 8 слайдов (заголовки, буллеты, простой визуал).»

6️⃣ Идеальный промпт для брифинга себя или клиента. ИИ задаст вопросы и соберет подробное саммари.

«Перед тем как писать/генерировать идеи, задай 7–10 уточняющих вопросов: цель, аудитория, запреты/триггеры, формат, тон, длина, CTA, каналы, сроки, ограничения по юр/бренду. Не начинай работу, пока не прояснишь всё.»

7️⃣ Проводим эксперимент, уточняем метрики и воплощаем все идеи на практике.

«Спроектируй эксперимент на 7 дней для роста [метрика: подписки/лиды/досмотры]: гипотезы (3 шт.), план публикаций по дням и каналам, форматы

Сохраняйте себе!

😌 4PDA

Минутка научпопа:)

Про быстрое преобразование Фурье:

https://youtu.be/eQlSvfUuQNs?si=MhSECPaD9zdIQAzx

Применение преобразования Фурье в аналоговых компьютерах для предсказания приливов и отливов: https://youtu.be/mBgk8vGL6ic?si=fQyon5vjdgZCRFEh


Теория информации и сжатие:

https://youtu.be/trJdvW9s0K0?si=qXUp4OIj-IUCDNDo

Фейнман - как работают компьютеры:

https://youtu.be/5SLo22giP5A?si=25XmUun-L45ZwSj1

Как работают видеокарты:

https://youtu.be/8bhpDYELmQc?si=vzEkjVoI1eUihvNo

Как работает Starlink:

https://youtu.be/RAOAbqRiN4A?si=OmWh8HpD_eHUwzNW

Как создают процессоры:

https://youtu.be/zyr-I9PdIac?si=qFwgtxyumnKaMthh

Обновил пригласительную ссылку в закрепе
Пока оставим канал закрытым

Забираем 5️⃣ ГЛАВНЫХ промптов для идеального путешествия! Цена — минимум, впечатлений — МАКСИМУМ.

Нейронка даст вам пошаговый гайд, который решит все типичные и скрытые траблы путешествий. Просто по очереди закидываем запросы:

1️⃣ Просим сгенерить идеальный маршрут:

Действуй как опытный путешественник. Я хочу поехать в [страна] на [10 дней] в [месяц]. Мой бюджет [средний]. Интересы: [история, еда, природа]. Создай для меня пошаговый маршрут по 3-4 городам с оптимальной логистикой между ними

2️⃣ Просим просчитать бюджет поездки, чтобы хватило на всё:

На основе этого маршрута, составь для меня детализированный бюджет. Раздели его на категории: перелеты, проживание (средняя цена за ночь), транспорт внутри страны, еда (из расчета X в день), развлечения. Покажи общую сумму

3️⃣ Дай скрытые жемчужины в любой точке мира — никакого туристического мейнстрима:

Для города [Рим] порекомендуй 5 нетуристических мест, которые любят местные: маленькие рестораны, смотровые площадки, тихие улочки. Объясни, почему каждое из них стоит посетить и как туда добраться

4️⃣ Узнаём, какие вещи нужны в поездку в первую очередь:

Создай для меня паковочный лист для 10-дневной поездки в [страна] в [месяц]. Учти погоду в это время года и запланированные активности. Цель — путешествовать налегке, только с ручной кладью

5️⃣ Просим дать главные фразы на местном языке для преодоления барьера:

Дай мне 10 ключевых фраз на [итальянском] языке, которые реально пригодятся в путешествии (приветствия, заказ в кафе, благодарность). И напиши 5 главных культурных особенностей или правил этикета, которые мне нужно знать, чтобы не выглядеть глупо

Теперь отпуск планируем только так.

🙂 Не баг, а фича

🤯 10 крутых алгоритмов, которые меняют цифровой мир

Пока все обсуждают ИИ, настоящая магия скрывается в алгоритмах — фундаментальных решениях, которые делают технологии возможными. Вот самые впечатляющие из них.

1. Коллапс волновой функции 🌊→🎲
Как из хаоса рождается порядок
Алгоритм, вдохновленный квантовой механикой, создает сложные структуры на базе простых правил. Используется в генерации игровых миров: каждая клетка карты содержит множество возможных состояний, которые упорядочиваются при взаимодействии. Другими словами, каждая клетка карты содержит множество возможных состояний, которые "коллапсируют" в конкретное значение при взаимодействии игрока. Представьте Minecraft с бесконечными уникальными ландшафтами.

2. Диффузионная модель 🎨
Искусство из шума
Тот самый алгоритм, который стоит за DALL-E и Midjourney. Постепенно преобразует случайный шум в осмысленные изображения через процесс, обратный термодинамической диффузии. Обучившись на миллионах изображений, теперь создает любые визуальные представления по текстовому описанию.

3. Имитация отжига 🔥❄️
Металлургия в мире данных
Как металл закаляется при нагреве и охлаждении, этот алгоритм начинает с широкого поиска решений ("высокая температура"), затем постепенно фокусируется на оптимальном варианте. Идеален для сложных задач оптимизации в логистике и машинном обучение.

4. Сонная сортировка ⏰→📊
Гениально, но непрактично
Каждое число в массиве "засыпает" на время, пропорциональное его значению. Меньшие числа "просыпаются" первыми и выводятся на экран.
Зачем нужен? Это блестящая демонстрация "outside the box" мышления в программировании. Он не для реального использования, а как учебный пример: показывает, как можно использовать системные вызовы и многопоточность нестандартными способами. Это шутливый алгоритм, которая заставляет задуматься о природе вычислений.

5. PageRank 🌐
Как Google оценивает важность страниц
Гениальный алгоритм, который превратил интернет из хаоса в упорядоченную структуру. Определяет важность веб-страниц на основе количества и качества ссылок на них. Представьте: каждая ссылка — это некий "голос" за страницу, где голоса более авторитетных страниц весят больше!

6. Быстрое преобразование Фурье 📡
Увидеть невидимое в сигналах
Революционный алгоритм, который преобразует сигналы из временной области в частотную. Позволяет "увидеть" составные частоты в любом сложном сигнале — от музыкальных композиций до радиоволн. Без FFT не было бы современной цифровой связи, МРТ-аппаратов и музыкальных приложений.

7. Алгоритм стайного поведения (Boids) 🐦
Жизнь из простых правил
Всего три принципа создают реалистичное поведение стаи:
• Избегай столкновений
• Двигайся в среднем направлении соседей
• Стремись к центру группы
Используется в анимации и игровых движках для создания естественных crowd-эффектов.

8. Алгоритм Шора ⚛️
Квантовая угроза шифрованию
Квантовый алгоритм, способный взламывать современные криптографические системы. Использует квантовую суперпозицию для факторизации больших чисел — задачи, практически нерешаемой классическими компьютерами.

9. Алгоритм марширующих кубов 🧊
3D-модели из медицинских сканов
Превращает данные КТ и МРТ в трехмерные модели. "Проходит" через 3D-поле вокселей, определяя границы тканей и органов. Революционизировал медицинскую визуализацию и предоперационное планирование.

10. Алгоритм Бойера-Мура 🔍
Поиск с интеллектуальными пропусками
Ищет подстроки не слева направо, а справа налево! Использует два правила для пропуска заведомо неподходящих участков:
• "Плохой символ" — прыжок на длину искомого шаблона (паттерна)
• "Хороший суффикс" — использование уже найденных совпадений
В несколько раз быстрее наивного поиска в больших текстах.

Вывод: Самые гениальные решения часто приходят из смежных областей — физики, биологии, квантовой механики. Настоящая магия — не в самих данных, а в способах их преобразования. Согласны?

#Algorithms #ComputerScience #Innovation #Tech

ChatGPT побеждает синдром самозванца — теперь вы научитесь ценить свои достижения без чувства вины.

Нейронка проведет вас через 35 глубинных вопросов, чтобы раскрыть корни вашей неуверенности и понять, почему вы минимизируете свои победы.

Ты — коуч по уверенности, с клиническим образованием и опытом работы с синдромом самозванца. Работаешь с предпринимателями, экспертами и творческими профессионалами.

Я хочу преодолеть синдром самозванца и научиться признавать свои успехи. Перед тем как предложить мне стратегию, задай мне 3–5 коротких, но глубоких вопроса, чтобы выяснить:

1. Как именно проявляется мой синдром (чувства, мысли, поведение)
2. К какому типу он ближе:
- Перфекционист — “Если это не идеально — значит провал.”
- Эксперт — “Я должен знать всё.”
- Гений от природы — “Если мне тяжело — значит я некомпетентен(на).”
- Соло-игрок — “Если мне нужна помощь — я не заслуживаю успеха.”
- Супермен/супервумен — “Я должен быть лучшим во всём.”

После этого:

3. Сформулируй персонализированную стратегию преодоления
4. Включи когнитивные техники, упражнения по признанию достижений, поведенческие практики
5. Используй валидирующий стиль — помоги мне увидеть, что мои переживания нормальны
6. В конце добавь трекер прогресса на 7 дней — простой способ отмечать изменения

Формат — структурированный и мотивирующий.

Пример вопроса:
“Было ли у тебя ощущение, что твои достижения — случайность, и ты вот-вот ‘раскроешься’ перед другими?”

Пример трекера:
“Сегодня я (✓): 1) заметил успех, 2) не обесценил себя, 3) попросил помощи”

После анализа полученных ответов ИИ предложит персонализированные методы работы с мышлением, практические упражнения и недельный план отслеживания прогресса.

😌 4PDA

Для тех кому это надо :)

Опенсорсный Miro нашли в сети — БЕСПЛАТНЫЙ вайтборд спокойно открывается в браузере и умеет почти всё:

🔅Майндмапы и флоучарты;
🔅Фрихенд и визуал;
🔅Экспорт в PNG/JPG/JSON;
🔅Спокойно делает из майндмап диаграммы;
🔅Поддерживает разные плагины, темы, БЕСКОНЕЧНЫЙ канвас;
🔅Есть даже мобильная версия.

Забираем имбу тут.

🙂 Не баг, а фича