Big Data AI

🔥 Полезная подборка каналов только код, практика и самые передовые инструменты, которые используют разработчики прямо сейчас.👇

🖥 ИИ: t.me/ai_machinelearning_big_data

🖥 Python: t.me/pythonl

🖥 Linux: t.me/linuxacademiya

🖥 C++ t.me/cpluspluc

🖥 Docker: t.me/DevopsDocker

🖥 Хакинг: t.me/linuxkalii

🖥 Devops: t.me/DevOPSitsec

👣 Golang: t.me/Golang_google

🖥 Аналитика: t.me/data_analysis_ml

🖥 Javascript: t.me/javascriptv

🖥 C#: t.me/csharp_ci

🖥 Java: t.me/javatg

🖥 Базы данных: t.me/sqlhub

👣 Rust: t.me/rust_code

🤖 Технологии: t.me/vistehno

💰 Экономика и инвестиции в ИИ t.me/financeStable

💼 Актуальные вакансии: t.me/addlist/_zyy_jQ_QUsyM2Vi


🖥Подборка по Golang: https://t.me/addlist/MUtJEeJSxeY2YTFi
⚡️ Лучшие ИИ ресурсы: https://t.me/addlist/2Ls-snqEeytkMDgy

Max ИИ: https://max.ru/ai_machinelearning_big_data
Max Ml: https://max.ru/vistehno
Max python: https://max.ru/pythonl
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Max Java: https://max.ru/javatg
Max Sql: https://max.ru/sqlhub
Max Devops: https://max.ru/DevOPSitsec
Анализ данных: https://max.ru/data_analysis_ml
C++ : https://max.ru/cpluspluc
C#: https://max.ru/csharp_ci

🖥 Chatgpt бот в тг: t.me/Chatgpturbobot
📚 Бесплатные ит-книги: https://t.me/addlist/HwywK4fErd8wYzQy

🚀 Удобный CLI для Google Workspace

gws — это универсальный инструмент командной строки для работы с Google Workspace, включая Drive, Gmail и Calendar. Он динамически строит команды, используя Google Discovery Service, и предоставляет структурированный JSON-вывод. Идеально подходит как для разработчиков, так и для ИИ-агентов.

🚀 Основные моменты:
- Поддержка более 40 навыков для ИИ-агентов.
- Автоматическое обновление команд при добавлении новых API.
- Удобная аутентификация и работа с несколькими аккаунтами.
- Интерактивные команды с подсказками и предварительным просмотром запросов.

📌 GitHub: https://github.com/googleworkspace/cli

Когда pandas уже не хватает

Если вы работаете с выгрузками из баз, логами сервисов или отчетами за годы — вы уже имеете дело со значениями, разделенными запятыми (CSV). Но умеете ли вы загружать CSV в Spark правильно?

👨‍💻 На открытом уроке разберем, как из плоского файла получить распределенную коллекцию данных — DataFrame. Поймем, почему DataFrame — это не просто таблица, как настраивать разбор грязных данных, объявлять схему вручную и избегать ошибок в промышленной среде.

Вы увидите, как Spark взаимодействует с файловой системой, научитесь писать код для загрузки CSV в PySpark или Scala и разберетесь, когда достаточно pandas, а когда без Spark не обойтись.

Открытый урок проходит в преддверии старта курса «Spark-разработчик».

➡️ Подробности и регистрация: https://tglink.io/d79eddbe8858f8?erid=2W5zFK4VnuP
#реклама
О рекламодателе

🔥 dots.ocr-1.5 — OCR-модель на 3B параметров от Rednote-hilab.
SOTA для мультиязычного парсинга документов — поддерживает практически любую систему письма.

📊 Elo 1089 на olmOCR-Bench и 1157 на XDocParse — выше, чем у GLM-OCR и PaddleOCR-VL-1.5
📄 На OmniDocBench (text edit 0.031) обгоняет Qwen3-VL-235B (0.069) и Gemini 2.5 Pro (0.075)
🎨 Может генерировать SVG-код для графиков, диаграмм и химических формул
🌐 Поддерживает парсинг веб-страниц, распознавание текста в сценах и подсчёт объектов
⚡ Работает через vLLM и запускается на одной GPU

🤖 Модель: https://modelscope.cn/models/rednote-hilab/dots.ocr-1.5

🔗 GitHub: https://github.com/rednote-hilab/dots.ocr

🎠 Демо: https://dotsocr.xiaohongshu.com

🎯Полезные Мл-ресурсы 🚀 Max

@bigdatai

Ккрупнейший open-source датасет записей работы за компьютером только что появился на HuggingFace - для обучения и оценки AI-агентов, которые умеют работать с компьютером.

В нём:

48 478 видеозаписей экранов
(примерно 12 300 часов использования профессионального софта).

https://huggingface.co/datasets/markov-ai/computer-use-large

✔️ Anthropic расширила контекстное окно до миллион токенов.

Claude Opus 4.6 и Sonnet 4.6 получили поддержку контекстного окна объемом в 1 миллион без наценок за объем. Обработка длинных запросов тарифицируется по стандартной ставке, а лимиты пропускной способности API остаются прежними на всей длине контекста.

Дополнительно лимит файлов в одном запросе увеличен в 6 раз: теперь Claude может за раз проанализировать до 600 изображений или страниц PDF. Обновление доступно в API Claude, а пользователи Claude Code на тарифах Max, Team и Enterprise при вызове Opus 4.6 по умолчанию будут автоматически использовать контекст 1M.
claude.com

✔️ Microsoft начинает масштабную ИИ-экспансию в Африке.

Корпорация запускает инициативу Microsoft Elevate, в рамках которой планирует до конца года бесплатно обучить ИИ-технологиям 3 млн. человек.

Цель программы - сдержать экспансию китайских ИИ-продуктов на самом молодом и быстрорастущем рынке мира. По внутренним оценкам Microsoft, DeepSeek уже занимает от 11% до 14% локального рынка чат-ботов, а в Эфиопии и Зимбабве его доля достигает 20% из-за активных вложений Пекина в цифровую инфраструктуру.

Чтобы вернуть инициативу, Microsoft делает ставку на развитие собственных вычислительных мощностей. До конца 2027 года компания инвестирует $330 млн. в расширение облачной и ИИ-инфраструктуры в ЮАР, а в Кении готовится строительство дата-центра, который будет полностью работать на геотермальной энергии. Ключевыми регионами для технологий и подготовки разработчиков также станут Нигерия и Марокко.
bloomberg.com

✔️ Илон Маск уволил еще 2-х сооснователей xAI.

В xAI прошла новая волна увольнений, вызванная недовольством CEO слабыми результатами. Компанию покинули еще 2 сооснователя: Цзыхан Дай и глава команды Imagine Годун Чжан, которого Маск обвинил в технических недоработках продукта. Таким образом, из 12 учредителей, запускавших xAI, в штате осталось всего 2 человека.

Кадровые чистки серьезно бьют по моральному духу команды. Источники сообщают, что инженеры массово уходят из-за выгорания, спровоцированного экстремально жесткими требованиями Маска к рабочему графику.

Пытаясь спасти проблемное направление и усилить экспертизу в разработке, xAI в конце недели переманила в свой штат Эндрю Милича и Джейсона Гинзберга из Cursor.
ft.com

✔️ Google представила крупнейшее обновление Maps.

Главным визуальным нововведением стал режим «Иммерсивной навигации». ИИ анализирует панорамы Street View и генерирует реалистичный маршрут с детализированными 3D-моделями зданий, точной разметкой полос и отображением светофоров.

Также сервис получил функцию Ask Maps на базе Gemini. Вместо поиска по ключевым словам теперь запросы на естественном языке - ИИ сопоставляет геоданные с личными предпочтениями, формирует персонализированные рекомендации и позволяет бронировать места в один клик.

Апдейт поэтапно развертывается в США. Вскоре новые инструменты появятся на платформах iOS и Android, а также в интерфейсах CarPlay и Android Auto.
blog.google

✔️ Amazon добавила в Alexa+ взрослый режим общения.

Голосовой ассистент получил новую опцию кастомизации - профиль Sassy для взрослой аудитории. Для его активации необходимо пройти дополнительную биометрическую аутентификацию. При работе профиля функция Amazon Kids автоматически блокируется.

В режиме Sassy ассистент выдает саркастичные ответы, жесткие шутки и использует мат, но на этом "взрослость" заканчивается: ИИ по-прежнему отказывается генерировать NSFW-контент, разжигать ненависть, переходить на личности или консультировать по незаконным действиям.

Взрослый режим стал частью крупной переработки Alexa+ (в прошлом месяце вышли стили Brief, Chill и Sweet).
techcrunch.com

@ai_machinelearning_big_data

#news #ai #ml

🧩 Claw Compactor: Уменьшите затраты на токены AI

Claw Compactor — инструмент для эффективной компрессии данных AI-агентов. Он использует 5 слоев сжатия для уменьшения объема памяти и снижения затрат на токены, сохраняя при этом важные факты. Простой в использовании, он позволяет значительно оптимизировать работу с большими объемами данных.

🚀 Основные моменты:
- Пять слоев компрессии для максимальной экономии
- Без затрат на LLM — все методы детерминированы
- Потеря данных минимальна благодаря правилам и оптимизации
- Поддержка китайского, японского и корейского языков
- Одной командой можно запустить весь процесс

📌 GitHub: https://github.com/aeromomo/claw-compactor

#python

Бизнес-реал[ИИ]: конференция Навикон и Yandex Cloud об ИИ в бизнесе

19 марта | Москва | Только офлайн

Искусственный интеллект остаётся самым хайповым трендом. Но может ли бизнес получить от него реальную выгоду? Выясним на мероприятии Навикон & Yandex Cloud.

В списке спикеров и участников — ведущие компании, которые уже внедрили нейросети в бизнес. Со сторонниками и скептиками обсудим самые острые темы:

✅ Приносит ли ИИ позитивный результат или только сжигает бюджет
✅ Как подготовиться к внедрению
✅ Как рассчитать TCO и ROI до старта проекта
✅ Как не потеряться в море open-source и получить все инструменты в одном окне

Программа и регистрация доступны на сайте мероприятия.

Этот файл CLAUDE.md может сделать тебя разработчиком в 10 раз эффективнее 👇

В нём собраны лучшие практики работы с Claude Code от его создателя.

Борис Черны (создатель Claude Code в Anthropic) поделился в X внутренними подходами и рабочими процессами, которые его команда действительно использует каждый день. Позже эти материалы оформили в структурированный файл CLAUDE.md, который можно добавить в любой проект.

Что внутри:

- оркестрация рабочих процессов
- стратегия субагентов
- цикл самоулучшения
- проверка перед завершением задачи
- автономное исправление ошибок
- базовые принципы работы

Это система с накопительным эффектом.
Каждое исправление, которое ты вносишь, сохраняется как правило. Со временем Claude делает всё меньше ошибок, потому что учится на твоей обратной связи.

Если ты используешь AI в разработке каждый день - это может сэкономить тебе десятки часов.

Как меняется роль разработчика в 2026 году?

AI стремительно меняет то, как создаются продукты и пишется код. Всё чаще обсуждают не только новые инструменты, но и более фундаментальный вопрос: какой будет роль разработчика в ближайшие годы.

24 марта Mindbox проводит открытые дебаты, где эксперты по AI из SberDevices и Itsy обсудят, куда движутся технологии и как это влияет на работу инженеров.

Что будет на встрече:

— разговор о том, как на AI смотрят с двух сторон: со стороны бизнеса и со стороны разработки
— возможность задать свои вопросы и обсудить их прямо во время дебатов
— реальные идеи и практики, которые уже используют команды

Если вам интересно, как меняется индустрия и какие навыки будут важны дальше — подключайтесь и приносите свои вопросы.

Канал Сергея Маркова
Канал Никиты Архипова

📅 24 марта
⏰ 19:00–20:30 мск
📍 Онлайн, бесплатно

👉 Зарегистрироваться

Реклама. ООО «Майндбокс», ИНН: 7713688880, erid: 2W5zFGn2zp1

Тебя заменит ИИ

🎨🚀 MayaFlux: Новая эра мультимедийной обработки

MayaFlux — это архитектура, объединяющая аудио, видео и алгоритмическое создание в единую вычислительную среду. Она позволяет работать с мультимедийными данными без разделения на отдельные домены, обеспечивая синхронность и гибкость в реальном времени.

🚀Основные моменты:
- Прямой поток данных между аудио и графикой без переводов
- Живое редактирование алгоритмов с минимальной задержкой
- Рекурсивная композиция с использованием корутин C++20
- Синхронизация обработки аудио и графики на основе единого расписания
- Адаптивные алгоритмы, настраивающиеся в реальном времени

📌 GitHub: https://github.com/MayaFlux/MayaFlux

🎵🔍 OSINT-инструмент, который вытаскивает нужные звуки из аудио

Если работаешь с OSINT или анализом записей, главное правило - не слушать ушами то, что можно искать алгоритмом.

Инструменты вроде AudioGhost AI как раз про это: ты не перематываешь час аудио, а формулируешь текстом, какой звук тебе нужен.

Подход к использованию:

Сначала думай не «что за запись», а какие события ты ищешь:
шаги, хлопок двери, выстрел, лай собаки, сирена, голос, крик, шум двигателя и т.д.
Дальше формулируешь это как текстовый запрос — и модель ищет похожие акустические паттерны по всей записи.

Это особенно мощно, когда:
- записи длинные
- звук грязный
- событий мало, но они критичны
- нужно быстро отфильтровать «пустоту»

Как запустить AudioGhost AI локально:

# 1. Клонируем проект
git clone https://github.com/0x0funky/audioghost-ai.git
cd audioghost-ai

# 2. Создаём окружение
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 3. Ставим зависимости
pip install -r requirements.txt

# 4. Запуск интерфейса (обычно web UI или gradio/streamlit)
python app.py   # либо main.py — смотри README проекта

# 5. Открываешь адрес из терминала в браузере
# Загружаешь аудиофайл
# Вводишь запрос, например:
# "gunshot", "door slam", "scream", "dog barking"

Март 2026

🖥️💡 The Vibe Companion: Удобный интерфейс для Claude Code

The Vibe Companion — это веб-интерфейс для Claude Code, который позволяет запускать несколько сессий одновременно и видеть результаты в реальном времени. Он устраняет ограничения терминала, обеспечивая визуальную обратную связь и управление вызовами инструментов.

🚀Основные моменты:
- Множественные сессии с индивидуальными настройками.
- Реальное время: вывод отображается по токенам.
- Видимость вызовов инструментов с подсветкой синтаксиса.
- Управление разрешениями для каждого вызова.
- Сохранение сессий и автоматическое восстановление.

📌 GitHub: https://github.com/The-Vibe-Company/companion

#javascript

⚡️ Бесплатный клон Perplexity сейчас активно хайпует - Perplexica.

Это опенсорс-поисковик с ИИ, который делает глубокий ресерч, проверяет факты и собирает ответы со ссылками на источники.

• Глубокий поиск и фактчекинг — аккуратно собирает информацию и добавляет источники
• Работает как с локальной Ollama, так и с облачными моделями Google, OpenAI и Anthropic
• Можно загружать файлы — документы, видео, аудио и изображения для уточнения запроса
• Есть набор инструментов и виджетов для проведения полноценного исследования
• Умные подсказки помогают лучше сформулировать запрос и получить точный результат
• Упор на приватность - сервис минимизирует утечки данных и контролирует их использование

https://github.com/ItzCrazyKns/Perplexica

🖥 Большинство парсеров умирают через 2 дня.

Ты научишься делать те, которые работают в продакшене.

Это не про BeautifulSoup ради галочки.
Это про системы сбора данных, которые:

• не падают из-за мелких изменений на сайте
• собирают данные в разы быстрее
• обновляют всё автоматически по расписанию
• обходят ограничения и блокировки
• выглядят как полноценный сервис, а не как хаос из файлов

Ты начнёшь видеть сайты не как страницы, а как источники данных, к которым можно подключаться.

В итоге ты сможешь:

• забирать данные для своих проектов
• автоматизировать чужую рутину
• создавать инструменты для аналитики
• брать коммерческие заказы на сбор данных

Это навык, который напрямую превращается в деньги.
Не «знаю Python», а «умею профессионально добывать данные из интернета».

🎁 Скидка 50% на Stepik действует 48 часов: https://stepik.org/a/269942/

Apple представила M5 Pro и M5 Max, построенные на новой архитектуре Fusion, которая объединяет два 3-нм кристалла в один SoC.

Это даёт до 30% прироста производительности CPU и более чем 4-кратный рост пиковой GPU-мощности для задач ИИ по сравнению с предыдущим поколением.

В конфигурации:

• 18-ядерный CPU (включая 6 «супер-ядер»)
• до 40-ядерного GPU с Neural Accelerators
• пропускная способность объединённой памяти до 614 ГБ/с