Machine learning Interview

📊 AI4TS — энциклопедия по анализу временных рядов с помощью ИИ. Этот масштабный GitHub-репозиторий собрал всё, что нужно для работы с временными рядами: от свежих исследований с NeurIPS и ICML до практических руководств по аномалиям и прогнозированию.

Автор не просто перечисляет публикации, а структурирует их по годам, конференциям и задачам — будь то классификация, обнаружение аномалий или прогнозирование. Проект включает не только PDF-статьи, но и ссылки на официальные реализации моделей вроде Time-LLM или iTransformer. Раздел с обзорными работами помогает быстро погрузиться в тему, например, через сравнение методов на основе трансформеров или графовых нейросетей.

🤖 GitHub

@machinelearning_interview

🧬 Чат-боты ИИ в 5 раз повысили шанс создания биооружия.
Риск глобальной пандемии вырос с 0.3% до 1.5%.

Исследователи показали: топовые ИИ помогают обойти сложные лабораторные этапы и дают точные инструкции, которые раньше были доступны только экспертам.
Теперь даже непрофессионалы могут собрать опасный вирус.

🔒 Что делать:

1. ИИ должен отказываться отвечать на опасные запросы, быть устойчивым к джейлбрейкам и не распространяться в открытом виде без ограничений.
2. Лаборатории обязаны проверять заказы на синтетические гены и подтверждать личности клиентов.

Если внедрить эти меры — риск почти вернётся к прежнему уровню.
Учёные призывают внедрять такие правила до, а не после кризиса.

📌 Подробнее

🦠 Как писать код так, чтобы open-source проект рос сам по себе (как колония бактерий)

Неожиданный, но полезный принцип: код стоит писать как бактерии пишут ДНК.
Звучит странно, но у природы за миллиарды лет выработался стиль, который идеально подходит для быстрого роста и масштабирования. И он отлично ложится на open-source.

Что делает "бактериальный код" особенным:

– Он маленький — потому что каждая строка «стоит энергии»
– Он модульный — код разбит на независимые блоки (как опероны в генах)
– Он самодостаточный — кусок кода можно просто скопировать и вставить в другой проект, без зависимостей

Теперь представьте, что ваш код читают как библиотеку сниппетов.
Можно ли выдернуть одну функцию — и она сразу принесёт пользу?
Можно ли вставить ваш класс в чужой проект — и он просто заработает?

Если да, значит код "бактериальный" — и это хорошо.

Почему это работает:
Такой код легко распространяется, переиспользуется, адаптируется. Люди могут взять только нужное, не вникая в архитектуру всего проекта. И это ключ к живому open-source: когда код «живет отдельно от автора».

Теперь про монорепы.
Сложные проекты всё равно требуют структуры — как организм требует согласованной работы органов.
Это уже стиль "эукариот" — более крупный, связанный, менее гибкий, но подходящий для системного масштаба.

Вывод:
Хочешь сложную платформу — строй "монорепу".
Хочешь, чтобы твой open-source проект рос, развивался и жил без тебя — пиши код как бактерии:
маленько, модульно, автономно, копируемо.

Это стиль, который колонизировал всё: от термальных источников до вакуума в космосе. И он работает.

▶️ Оригинал пост от Karpathy

#opensource #кодстиль #cleanCode #dev #community #softwaredesign

⚡️ Почему лучшие разработчики всегда на шаг впереди?

Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.

ИИ: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Мл собес t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
МЛ: t.me/machinelearning_ru
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev
Физика: t.me/fizmat
SQL: t.me/databases_tg

Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🖥 Chatgpt для кода в тг: @Chatgpturbobot

📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi

Подпишись, чтобы всегда знать, куда двигаться дальше!

📌SemDiD: Семантическое разнообразие ответов для LLM.

Исследователи из из Гонконгского университета и инженеры Alibaba научили LLM генерировать семантически разные ответы, заставляя их «думать» в ортогональных направлениях.

Наверняка каждый, кто работает с LLM, сталкивался с их любовью к самоповторам. Запрашиваешь несколько вариантов решения, а получаешь одну и ту же мысль, просто перефразированную.

Стандартные подходы к декодированию, temperature sampling или diverse beam search, создают лишь лексическое разнообразие, но пасуют, когда требуется семантическое. Это серьезная проблема для Best-of-N или RLHF. Ведь без по-настоящему разных идей и подходов к решению задачи эти методы теряют свою силу: выбирать лучший вариант не из чего, а обучать модель на однотипных примерах неэффективно.

Решение предложили в методе SemDiD (Semantic-guided Diverse Decoding). Его суть, если кратко, перестать играть с токенами на поверхности и начать управлять генерацией напрямую в пространстве эмбеддингов.

🟡Метод работает так.

Сначала, на старте, он принудительно направляет разные группы beams по ортогональным векторам в семантическом пространстве. Грубо говоря, это как дать команду разным поисковым группам двигаться строго на север, юг и запад, чтобы они гарантированно разошлись.

По мере генерации, когда жесткие директивы могут стать неоптимальными, включается второй механизм - inter-group repulsion. Он просто следит, чтобы смысловые траектории ответов не сближались, сохраняя их уникальность до самого конца.

Но как, гоняясь за разнообразием, не получить на выходе бессвязный бред?

SemDiD подходит к контролю качества уникально. Он не пытается слепо максимизировать вероятность последовательности, а использует ее лишь как нижнюю границу, чтобы отсечь совсем уж плохие варианты.

Кроме того, алгоритм корректирует системные искажения, когда вероятность токенов искусственно завышается в зависимости от их позиции в тексте.

Для баланса между качеством и разнообразием используется адаптивный механизм на основе гармонического среднего, который в каждый момент времени уделяет больше внимания той метрике, которая проседает.

🟡В тестах метод показал неплохие результаты.

На бенчмарках для Best-of-N, от MMLU-Pro+ до GSM8K, SemDiD увеличивает покрытие (шанс найти верный ответ) на 1.4%-5.2% по сравнению с аналогами.

🟡Но главный прорыв - в RLHF.

Генерируя для GRPO или RLOO семантически богатые наборы ответов, SemDiD предоставляет им более качественный материал для обучения. Это ускоряет сходимость на 15% и повышает финальную точность моделей.


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #SemDiD

🔥 TorchOpt — мощная библиотека для дифференцируемой оптимизации, построенная поверх PyTorch. Она предлагает три режима дифференцирования (явный, неявный и нулевого порядка), что делает её универсальным инструментом для задач, где требуется оптимизация с учётом градиентов, включая метаобучение и двууровневую оптимизацию.

Библиотека сочетает гибкость функционального подхода с привычным объектно-ориентированным API PyTorch. Это позволяет легко интегрировать её в существующие проекты, не жертвуя производительностью. TorchOpt поддерживает распределённые вычисления через PyTorch RPC и ускоренные операции на CPU/GPU, что особенно полезно для масштабируемых экспериментов.

🤖 GitHub

@machinelearning_interview

🔅 Manus — теперь с модулем Audio

Что нового
- Читает длинные отчёты и создаёт аудиофайлы
- Удобное упарвление голосом: можно слушать, давать команды и одновременно делать другие дела
- Генерирует подкасты
- Озвучивает доки и презентации и многое другое

Когда удобнее слушать, чем читать — включите Manus и продолжайте работу.

https://audio.manus.space

🌟 WM-ABench: тестирование VL-моделей на понимание физики реального мира.

Мaitrix Org разработали WM-ABench, бенчмарк для оценки VLM в качестве так называемых «моделей мира». Идея проста: проверить, насколько хорошо топовые модели способны не просто распознавать картинки, а понимать окружающую действительность и предсказывать ее изменения.

Создатели, опираясь на когнитивную науку, создали фреймворк, который тестирует 15 самых популярных моделей по 23 параметрам, разделяя процесс на 2 ключевых этапа: восприятие и прогнозирование.

В основе бенчмарка - огромный датасет из более чем 100 тысяч примеров, сгенерированных в 6 различных симуляторах, от ThreeDWorld и Physion до Carla.

Чтобы модели не искали легких путей и не полагались на поверхностные совпадения, в тест добавили «сложные негативы» - контрфактические состояния, которые заставляют систему действительно анализировать происходящее.

Весь процесс был разделен на оценку восприятия (распознавание объектов, пространства, времени, движения) и прогнозирования (симуляция физики, транзитивный и композиционный вывод). Для калибровки сложности задач были установлены базовые показатели, основанные на результатах людей.

🟡Результаты.

С простым визуальным восприятием, то есть с определение цвета или формы, все модели справляются отлично. Однако когда дело доходит до трехмерного пространственного мышления, динамики движения или временных последовательностей, начинаются серьезные проблемы.

Выяснилась и другая любопытная деталь: VLM склонны «спутывать» физические понятия. Например, если в сцене изменить только цвет объекта, модель может внезапно ошибиться в оценке его размера или скорости.

Оказалось, что цвет и форма являются самыми влиятельными атрибутами, которые искажают восприятие других, не связанных с ними характеристик.

🟡Но главная проблема кроется глубже.

Точное восприятие мира совершенно не гарантирует точного прогноза.

Исследование показало, что даже при идеально верном распознавании текущего состояния сцены модели проваливают предсказание физических взаимодействий.

Разрыв с человеческими способностями явный: в задачах на транзитивный вывод он достигает 46%, а композиционный вывод выполняется на уровне случайного угадывания.

🟡Бенчмарк подсветил фундаментальный недостаток:

У современных VLM отсутствуют базовые знания физики, необходимые для симуляции даже простейших событий. Они видят мир, но не понимают, по каким законам он живет.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Arxiv
🟡Датасет


@ai_machinelearning_big_data

#AI #ML #VLM #Benchmark #Maitrix

📚 Best System Design Resources — удобная шпаргалка для интервью и прокачки архитектуры

* 100+ отобранных материалов: курсы, книги, статьи, интервью-чеклисты и блоги инженеров крупных компаний.

* Упор на практику для System Design Interview: есть готовые cheat-sheets от Exponent, ByteByteGo и DesignGuru, а также более 50 типовых задач.
* Секции «Курсы», «Книги», «Теория и алгоритмы», «Кейс-стади» и «Engineering Blogs» помогают быстро закрыть пробелы перед собеседованием.
* Более 2 500★ на GitHub — комьюнити регулярно дополняет подборку.

Полезно, если нужно системно повторить концепции перед FAANG-интервью или собрать личную базу знаний по архитектуре.

📌 Github

@machinelearning_interview

📌 TorchScale — библиотека для масштабирования трансформеров от Microsoft. Когда стандартные архитектуры трансформеров упираются в ограничения глубины и длины последовательностей, этот проект предлагает набор решений: от DeepNet (1000+ слоёв) до революционного RetNet — потенциального преемника классических трансформеров.

Библиотека выглядит как исследовательский полигон: здесь собраны последние наработки Microsoft в области LLM, включая BitNet и Multiway-архитектуры для мультимодальных задач. Хотя проект требует PyTorch и мощных GPU, его минималистичный API позволяет быстро экспериментировать с передовыми подходами.

🤖 GitHub

@machinelearning_interview

🗣 Инженер рекомендательных систем рассказал про перспективы развития направления. В подкасте научному изданию N + 1 инженер рекомендательных систем Яндекса Николай Савушкин рассказал про тренд унификации и универсализации технологий.

Рекомендации в дальнейшем можно развивать:

- как ещё одну модальность LLM;
- как агента, который строит дерево вариантов для жизни и карьеры.

📌 Подробнее

@machinelearning_interview

🧠 Генеративный ИИ‑проект “под капотом”: всё на одном GitHub

Если вы хотите посмотреть, как собрать полноценную систему генеративного ИИ с нуля — обратите внимание на этот репозиторий:


📦 Внутри:
– Обработка изображений и текста
– Использование pre-trained моделей для генерации и анализа
– Интеграция с OpenAI API
– Отчёты, ноутбуки, визуализация результатов
– Чистая структура проекта: от данных до выводов

Подойдёт как учебный шаблон или стартовая база для своих экспериментов с мультимодальными ИИ‑сценариями.

https://github.com/HeyNina101/generative_ai_project

#generativeAI #opensource #ml #deeplearning

✔️ Google Deepmind в списке самых влиятельных компаний 2025 года по версии TIME.

Медиагигант TIME включил DeepMind в свой рейтинг TIME100-2025 в категории «Влияние в ИИ». Это отдельная категория признания пяти выдающихся компаний, которые внесли значимый вклад в развитие своих областей.

В 2024 году создатели AlphaFold из Google DeepMind получили Нобелевскую премию по химии, но помимо научных достижений, DeepMind активно развивает языковые общедоступные модели: Gemini 2.5 Pro до сих пор лидирует в тестах на «интеллект».

CEO Google DeepMind Демис Хассабис мечтает создать «универсального цифрового ассистента», способного не только помогать пользователям, но и проводить самостоятельные научные исследования.
time.com

✔️ Новостной чатбот ChatEurope оказался бесполезен.

15 европейских СМИ из 7 стран запустили Chat Europe, платформу на основе ИИ, которая обещает предоставлять новости о ЕС без дезинформации. Проект финансируется ЕС, использует модель Mistral и был разработан румынской компанией DRUID AI.

Пользовательские тесты показали проблемы: система часто ссылается на устаревшие данные и дает нерелевантные ответы. Например, запрос о ситуации в Германии выдал устаревшую информацию 2010 года, в то время как ChatGPT с веб-поиском - дал актуальный и всесторонний ответ.

Создатели чатбота заявляют непредвзятость сервиса и проверенные источники, но реальность пока не соответствует этим утверждениям. Эксперты ждут улучшений: если чатбот не научится отслеживать события в реальном времени, его польза останется под вопросом.
presseportal.de

✔️ OpenAI выходит на рынок корпоративных решений с ценником от $10 млн за проект.

OpenAI активно развивает консалтинговое направление для бизнеса, предлагая клиентам персонализацию моделей GPT-4o под их данные и разработку приложений - от чат-ботов до аналитических инструментов. За такие услуги компания запрашивает от $10 млн, ставя себя в один ряд с Palantir и Accenture.

Среди клиентов направления - Министерство обороны США и азиатский техногигант Grab. OpenAI явно стремится закрепиться не только как лаборатория для исследований, но и как партнер для масштабных внедрений.
theinformation.com

✔️ Huawei открыла доступ к семейству моделей Pangu.

Huawei анонсировала открытый доступ к своей серии языковых моделей Pangu: компактной Pangu 7B и флагманской Pangu Pro MoE с 72 миллиардами параметров. Обе модели оптимизированы для инференса на чипах Ascend. Исходный код, веса и инструменты для работы с MoE-архитектурами уже доступны на платформе GitCode.

Разработчики получают возможность тестировать решения на чипах Huawei, что актуально в условиях санкций. Меньшая версия Pangu 7B в открытом доступе появится позже.
ecns.cn

✔️ Cloudflare вводит контроль над ИИ-краулерами.

Cloudflare начал блокировать ИИ-краулеры по умолчанию, теперь новые сайты автоматически получают опцию запрета сканирования без разрешения, а бета-версия сервиса Pay Per Crawl позволит монетизировать доступ.

Новый протокол идентификации ботов поможет сайтам отсеивать анонимных скраперов, требуя раскрытия целей сбора данных. Поддержку инициативе выразили крупнейшие медиахолдинги и цифровые площадки, они давно говорят о важности компенсации за использование контента.
cloudflare.com

@ai_machinelearning_big_data

#news #ai #ml

🍏 Apple выложила исходники FlexTok — нового токенизатора изображений с гибкой длиной

FlexTok — это токенизатор, который представляет изображение как последовательность токенов переменной длины, от самых грубых до самых детализированных.

В отличие от большинства image tokenizer'ов (где всегда фиксированное число токенов и они жёстко локализованы по патчам), здесь подход коarse-to-fine — как в PCA:
- первый токен даёт максимально сжатое представление,
- второй — добавляет детали,
- третий — ещё больше и т.д.

Такой порядок оказывается семантически разумным, хотя обучение шло без языевой подсказки. Получается структура, которую удобно использовать в генерации и понимании изображений.

Всё сделано без магии:
- используется nested dropout на токенах во время обучения,
- архитектура простая, основана на известных компонентах,
- токены можно интерпретировать по уровню детализации.

📎 Исходники: https://github.com/apple/ml-flextok
🖼️ Демка: https://huggingface.co/spaces/EPFL-VILAB/FlexTok
📊 Визуализации: https://flextok.epfl.ch

🚀 Open-source альтернатива Perplexity, собранная одним разработчиком — уже 8.4K звёзд на GitHub!

Scira (ранее MiniPerplx) — минималистичный AI-поисковик, который не просто ищет, но и цитирует источники.
Работает на Vercel AI SDK, поддерживает Grok 3, GPT‑4o, Claude 4, Gemini и другие модели.

💡 Без логина. Без paywall.
🔎 Ищет по Web, X, Reddit, YouTube, статьям, акциям, погоде, билетам — через 15+ API
🧠 Умеет запускать код, строить графики, использовать память, работать в защищённой RAG-среде

GitHub: https://github.com/zaidmukaddam/scira