DevOps

🌟 Amazon встроила векторную базу данных прямо в хранилище S3.

Amazon анонсировала S3 Vectors - нативную поддержку векторного поиска прямо внутри своего вездесущего объектного хранилища. Заявлено, что это может снизить затраты на хранение и обработку векторов до 90%.

По сути, AWS предлагает не отдельный сервис, а новый тип бакета vector bucket. Внутри него вы создаете векторные индексы, указывая размерность векторов и метрику расстояния (косинусную или евклидову).

🟡Дальше все работает как магия

Вы просто загружаете в индекс свои эмбеддинги вместе с метаданными для фильтрации, а S3 берет на себя всю грязную работу по хранению, автоматической оптимизации и обеспечению субсекундного ответа на запросы. Никакого управления инфраструктурой.

Один бакет может содержать до 10 тысяч индексов, а каждый индекс, в свою очередь, десятки миллионов векторов.

🟡Главная сила этого решения - в экосистеме.

S3 Vectors бесшовно интегрируется с Bedrock Knowledge Bases. Теперь при создании базы знаний для RAG-приложения можно просто указать S3-бакет в качестве векторного хранилища.

Процесс создания RAG-пайплайна для тех, кто уже живет в облаке AWS, упрощается до нескольких кликов. То же самое касается и SageMaker Unified Studio, где эта интеграция тоже доступна из коробки.

🟡"One more thing" анонса - умная интеграция с сервисом OpenSearch.

AWS предлагает гибкую, многоуровневую стратегию. Нечасто используемые или «холодные» векторы можно экономично хранить в S3 Vectors. А когда для части данных потребуется максимальная производительность и низкая задержка в реальном времени, например, для системы рекомендаций, их можно быстро экспортировать в OpenSearch.

Это очень прагматичный инженерный подход, позволяющий балансировать между стоимостью и производительностью.

Пока сервис находится в статусе превью и доступен в регионах US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Frankfurt), and Asia Pacific (Sydney) Regions.

Попробовать S3 Vectors можно в Amazon S3 console.


🟡Статья
🖥Github


@ai_machinelearning_big_data

#AI #ML #RAG #Amazon

Linux: как узнать, какие процессы используют файлы — даже если они уже удалены

Иногда удаляешь огромный лог или архив, но место на диске не освобождается. Почему? Потому что процесс всё ещё держит дескриптор удалённого файла.

lsof | grep '(deleted)

Особенно полезно при отладке проблем с disk full, docker, journalctl, tmp и прочим

@DevOPSitsec

🖥 Как отследить, кто создаёт или изменяет файлы в папке в реальном времени

Иногда непонятно, какой процесс пишет или удаляет файлы в директории — особенно в системных папках, логах или временных хранилищах.

Вместо хаотичного дебага используй inotifywait из пакета inotify-tools, чтобы в реальном времени отслеживать события.

Подходит для отладки crontab, фоновых скриптов, демонов, temp-файлов и даже подозрительных активностей.

Установи inotify-tools, если ещё не стоит:
sudo apt install inotify-tools

Следи за изменениями, удалениями, созданием файлов в реальном времени:
inotifywait -m -r /путь/к/папке

Пример: следим за /tmp
inotifywait -m -r /tmp

🛠️ Konditionner — конфигурируемая Clojure-библиотека для управления состоянием и валидации

🌟 Что это?
Konditionner — простой, но мощный инструмент для:
- валидации данных на основе схем;
- управления глобальными или локальными состояниями;
- реактивной обработки изменений значений.

⚙️ Как работает:
- Используются специальные схемы и предикаты (например :required, :min, `:one-of`) для описания структуры и ограничений данных.
- При валидации данные проходят через validate, возвращая валидную версию или ошибки.
- Состояние хранится в атомах, подписках и реактивных listener’ах.

📌 Github

@DevOPSitsec

🖥10 полезных Linux-команд

Вот подборка скрытых инструментов, которые могут сэкономить время и упростить работу в терминале:

1. `sudo!!` — автоматически повторяет последнюю команду с правами root.
2. `python -m http.server` — запускает простой HTTP-сервер текущей папки за секунды.
3. `mtr` — объединяет функции ping и traceroute для диагностики сети.
4. `nl` — выводит нумерованный текст из файла.
5. `shuf` — случайным образом выбирает строки из файла.
6. `ss` — более обширный аналог netstat для сокетов.
7. `last` — показывает историю входа пользователей.
8. `curl ifconfig.me` — быстро узнаёт внешний IP-адрес.
9. `tree` — отображает структуру директорий в виде дерева.
10. `pstree` — выводит процессы и их иерархию в виде дерева

💡 Эти команды — настоящие скрытые жемчужины Linux: короткие, удобные и невероятно практичные для повседневных задач.

Попробуйте добавить хотя бы одну в ваш арсенал — это может изменить ваш CLI-опыт.

📌 Подробнее

📦 PcapPlusPlus — мощный C++ инструмент для работы с сетевыми пакетами. Этот мультиплатформенный проект предлагает удобные C++ обёртки для популярных движков захвата трафика — от классических libpcap/WinPcap до высокопроизводительных DPDK и PF_RING.

Библиотека поддерживает огромное количество протоколов: от базовых Ethernet и IP до специализированных вроде WireGuard или S7Comm. При работе с пакетами, помимо стандартного парсинга в проекте доступны функции сборки TCP-сессий с учётом ретрансмитов и обработки фрагментации IP. Для разработчиков приложений под Linux ценна интеграция с eBPF AF_XDP — это позволяет достичь линейной скорости обработки.

🤖 GitHub

@devopsitsec

🧠 Linux-хак: перезапуск процесса без остановки PID

Представь, у тебя работает демон, и ты хочешь обновить его бинарник *без остановки процесса* и *без потери PID*. Такое возможно — с помощью магии `exec`.

🔥 Трюк: заменить текущий процесс на новый:

exec /path/to/new/binary --with --args

📌 Что происходит?

- Команда exec заменяет текущий процесс новым — без создания нового PID
- Все открытые файловые дескрипторы и сокеты сохраняются
- Работает, только если у тебя уже есть нужные права (например, через systemd или под `sudo`)

🛠 Пример в бою:

Ты перекомпилировал новый nginx в /usr/local/bin/nginx-new, и хочешь подменить старый:

pidof nginx  # допустим, PID = 1234
sudo nsenter -t 1234 -m -u -i -n -p -- bash
cd /usr/local/bin
exec ./nginx-new -c /etc/nginx/nginx.conf

📌 Готово! Новый бинарь работает в том же PID, открытые сокеты и дескрипторы остались на месте.

Как узнать, кто последний редактировал любой файл в Linux — даже если это не git

Оказывается, можно выяснить, какой пользователь последний модифицировал файл, даже если это обычная файловая система и никакой системы контроля версий нет.
Секрет — в auditd, который отслеживает события уровня ядра.

Вот как включить отслеживание изменений для конкретного файла:

# Включаем слежение за изменениями файла
auditctl -w /etc/nginx/nginx.conf -p w -k nginx_watch

# Потом можно посмотреть, кто и когда его правил:
ausearch -k nginx_watch

🧠 Кто редактировал файл — точно и с логами

📌 Работает с любыми файлами: конфиги, скрипты, ключи
📌 Видно: кто, когда, чем, с каким PID
📌 Отлично для отладки, расследований, CI/CD и безопасных систем

Идеальный инструмент, если "что-то сломалось, но никто ничего не трогал.

Видео

@linuxkalii

🧠 GitHub раскрывает планы по следующей эволюции Copilot — от помощника к полноценному агенту.

🔗 В новом посте GitHub делится видением agentic workflows — когда Copilot становится не просто ассистентом, а полноценным участником команды, который умеет:
• понимать задачу целиком,
• планировать шаги,
• писать и менять код,
• создавать PR и даже инициировать обсуждение.

📌 Что важно:
— Copilot теперь работает в рамках цепочек действий (tasks → plans → code)
— Появляются memory и context-aware агенты
— Идея — не просто "автодополнение", а делегирование работы: от заведения ишью до его закрытия
— Акцент на безопасную, контролируемую автоматизацию

⚙️ Пример: вы создаёте issue → Copilot планирует, как решить → предлагает PR → вы ревьюите и мёрджите.

🛠 Уже сейчас GitHub тестирует:
- Copilot Workspace (автогенерация изменений по issue)
- GitHub Agents (task‑oriented агенты для DevOps и beyond)

📎 Читайте подробнее:

Copilot перестаёт быть просто AI‑другом в редакторе — он становится сотрудником, который понимает задачи, работает в контексте проекта и помогает двигать код вперёд.

🎓 Комьюнити Cursor собрало огромную библиотеку гайдов и инструментов для вайбкодеров. Тут есть всё, чтобы работать с ИИ было проще и эффективнее:

— Готовые промты под разные задачи
— MCP-серверы для общения с внешними приложениями
— И самое крутое: генератор уникальных промт-правил под ваш проект

Налетай — всё это бесплатно и уже доступно.
🔗 https://cursor.directory/

💡Принес вам крутую шпаргалку по шаблонам проектирования на русском

Паттерны (шаблоны) проектирования — это способы построения программ, которые считаются хорошим тоном для разработчиков.

📦 Сохрани себе, чтобы не потерять

#шпаргалка

📦 Fluent Bit теряет логи в Kubernetes? Вот как это пофиксили в ArteraAI

Команда ArteraAI столкнулась с загадочным исчезновением логов: job успешно выполнялся, Fluent Bit читал логи… но они не доходили до DataDog. Почему?

🔍 Оказалось, что Fluent Bit не справлялся с нагрузкой:
- логи буферизуются в памяти (по 2МБ чанки),
- при переполнении mem_buf_limit входные плагины ставятся на паузу,
- данные теряются, особенно при всплесках активности.

💡 Решение: включили файловую буферизацию.


Теперь логи сначала пишутся в память, потом на диск — никаких пауз и потерь.

‼️ Но даже после фикса… логи не находились в DataDog. Почему?

🔥 Проблема была в отсутствии Kubernetes-метаданных. Fluent Bit не всегда корректно добавлял поля pod, namespace, cluster, и логи оказывались в слепой зоне мониторинга.

📌 Вывод:
1. Следите за backpressure (`paused (mem buf overlimit)`).
2. Включайте файловую буферизацию при высоких нагрузках.
3. Проверяйте, что Kubernetes Filter добавляет все нужные метаданные.

Подробности: https://arteraai.medium.com/optimizing-kubernetes-log-aggregation-tackling-fluent-bit-buffering-and-backpressure-challenges-fb3129dc5031

@DevOPSitsec

🌀 Эмулятор старого ЭЛТ-терминала, как в 80-х

cool-retro-term — это терминал с рябью, изгибами экрана и ламповым визуалом, как на старых мониторах.

🖥 Никакой практической пользы — только чистый ретровайб.
🎛 Работает на Linux и macOS
⚙️ Построен на QML + qtermwidget (как в Konsole)

📎 GitHub: https://github.com/Swordfish90/cool-retro-term

⚡️ Почему лучшие разработчики всегда на шаг впереди?

Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.

ИИ: t.me/ai_machinelearning_big_data
Python: t.me/pro_python_code
Linux: t.me/linuxacademiya
Devops: t.me/devops_teleg
Базы данных: t.me/sqlhub
Мл собес t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
МЛ: t.me/machinelearning_ru
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://t.me/gamedev
Физика: t.me/fizmat
SQL: t.me/databases_tg

Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🖥 Chatgpt для кода в тг: @Chatgpturbobot -

📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi

Подпишись, чтобы всегда знать, куда двигаться дальше!

✔️ Google столкнулась с антимонопольной жалобой в ЕС из-за функции AI Overviews.

Коалиция независимых издателей подала антимонопольную жалобу на Google в Еврокомиссию. Они утверждают, что новая функция AI Overviews отбирает у них трафик и рекламные доходы, используя их контент без разрешения и компенсации.

Основная претензия заключается в том, что издатели не могут запретить использование своих материалов для обучения нейросетей и создания саммари, не рискуя при этом полностью исчезнуть из результатов поиска. Google же заявляет, что AI Overviews лишь помогает пользователям находить контент.
reuters.com

✔️ Индийский инженер-программист совмещал работу сразу в нескольких стартапах.

Сохам Парекх оказался в центре скандала, когда выяснилось, что он тайно занимал фултайм-позиции сразу в нескольких стартапах. Все началось с поста основателя Playground AI, который рассказал, что Парех умудрялся работать на 3-4 компании сразу. К обсуждению быстро подключились другие компании, подтвердившие, что тоже собеседовали или нанимали его.

Схема была проста: Парех впечатлял на технических интервью и имел активный профиль на GitHub, это и помогало ему получать офферы. Но после найма он срывал сроки и не выполнял задачи. Поймали его, заметив коммиты в репозитории другой компании во время его предполагаемого «больничного». Сам инженер объяснил свои действия тяжелым финансовым положением.

Сейчас Парекх работает в стартапе Darwin Studios, стартапе по ремикшированию видео с использованием ИИ.
theverge.com

✔️ ИИ помог создать нейтрализатор радиоактивного йода.

Команда исследователей из Кореи использовала машинное обучение для решения проблемы утилизации ядерных отходов. Их целью был радиоактивный I-129, изотоп с периодом полураспада 15,7 млн лет, крайне опасный для живых организмов.

С помощью ИИ ученые нашли новый адсорбент на основе меди, хрома, железа и алюминия, который удаляет более 90% радиоактивного йода из воды. Это значительно эффективнее существующих методов.

Главное преимущество ИИ было в скорости. Вместо полного перебора комбинаций модель предсказывала самые перспективные составы, что позволило протестировать лишь 16% от всех возможных вариантов для нахождения оптимального. Команда уже патентует технологию для коммерческого применения.
phys.org

✔️ Команда ZLUDA отчиталась о прогрессе в запуске CUDA на сторонних GPU.

Проект ZLUDA, позволяющий запускать код CUDA на видеокартах AMD и Intel, поделились важными обновлениями после спасения от закрытия. Проект теперь ведут два фултайм-разработчика, один из которых сфокусирован на поддержке ИИ-нагрузок.

Главный фокус - запуск GPT-2 в рамках тестового проекта llm.c. Это необходимый шаг к поддержке фреймворков наподобие PyTorch. Также разработчики повышают точность вычислений, стремясь к побитовому соответствию с результатами на железе Nvidia с помощью PTX-тестов.
vosen.github.io

✔️ Skywork-Reward-V2: обновление семейства открытых reward-моделей.

Китайская компания Kunlun Wanwei выпустила вторую версию своих открытых reward-моделей, которые помогают «объяснить» LLM, какие ответы считать хорошими, а какие — плохими.

Новая серия V2 обучена на огромном датасете из 26 миллионов пар оценок и включает 8 моделей разного размера. По заявлениям разработчиков, флагманская версия на 8 млрд. параметров превосходит все существующие аналоги на ключевых бенчмарках, а самая компактная, 600 по производительности почти догнала их старшую модель прошлого поколения на 27 млрд. параметров. Новое семейство уже доступно на HuggingFace.
github.com

@ai_machinelearning_big_data

#news #ai #ml

🛡️ OpenRASP — инновационный подход к безопасности веб-приложений, который встраивает защиту прямо в сервер приложений. В отличие от традиционных WAF, анализирующих только входящие запросы, OpenRASP мониторит выполнение уязвимых операций на уровне приложения, что резко снижает количество ложных срабатываний.

Проект поддерживает популярные Java-серверы и PHP 5.3-7.4, добавляя всего 1-4% нагрузки. Алгоритмы детектирования контекстно-зависимы — атаки выявляются только при реальной эксплуатации уязвимости, а детальный stacktrace упрощает расследование инцидентов.

🤖 GitHub

@devopsitsec

📌 ICONIQ: Плейбук архитектора ИИ-систем 2025.
 
Iconiq Capital опросила 300 руководителей ИИ-стартапов с доходом от $10 млн. до $1 млрд. о том, как эти стартапы используют ИИ и собрала результаты в отчет "ICONIQ AI Builder’s Playbook 2025"

Iconiq Capital - американская компания по управлению инвестициями, основанная в 2011 году. Функционирует как гибридный семейный офис и имеет тесные связи с компанией Марка Цукерберга. Компания предоставляет услуги по инвестиционному менеджменту, частному капиталу, венчурным инвестициям, управлению недвижимостью и филантропии для состоятельных семей и организаций.

▶️Очень кратко:

Эра экспериментальных ИИ-демо закончилась. Сейчас компании массово переходят к боевому использованию генеративных моделей - и тут уже не про «вау», а про ROI, стоимость инференса и объяснимость.


🟡AI-native vs AI-enabled

Компании, с нативными ИИ-продуктами, сильно опережают тех, кто "добавил ИИ". Почти половина стартапов нативных ИИ-продуктов уже достигла масштабирования (47% против 13% у ретрофитеров).

В продуктовом портфеле такой типовой компании в среднем 2,8 модели и они активно идут по пути агентных сценариев, причем многие строят архитектуру с возможностью быстрого свапа моделей.


🟡Ценообразование и монетизация.

ИИ ломает старые цены и бизнес-модели. 38% компаний используют гибридное ценообразование (подписка + плата за использование), ещё 19% — только за использование а 6% уже экспериментируют с outcome-based моделями.

Пока 40% включают ИИ в премиум-пакет, но 37% планируют пересмотреть подход, учитывая реальные метрики использования и отдачу.

🟡Команда и расходы. 

ИИ перестал быть задачей «R&D-уголка». В быстрорастущих компаниях до 37% инженеров работают над ИИ, а AI/ML-инженеров нанимают в среднем за 70+ дней. И это большая проблема.

ИИ забирает до 20% R&D-бюджета, причем по мере роста проекта расходы смещаются с найма в сторону инференса и инфраструктуры.

 
🟡Инструменты и инфраструктура. 

68% компаний используют только облако, ещё 64% сидят на внешних API. OpenAI/GPT - лидер (81%), но растет доля мульти-модельных подходов (Claude, Gemini, Mistral и др.).

NVIDIA по-прежнему доминирует в инференсе: TensorRT и Triton используют 60% команд, но и ONNX Runtime (18%) с TorchServe (15%) укрепляют позиции.

Из инструментов для оркестрации лидируют LangChain и Hugging Face, а для мониторинга — Datadog и LangSmith (~17%). MLOps по-прежнему на MLflow (36%) и Weights & Biases (20%).


🟡Что тормозит развитие. 

Самое сложное в развертывании продуктов оказалось не в коде, а в доверии и эффективности:

42% компаний говорят о проблемах доверия и объяснимости, 39% — не могут показать ROI, 38% — борются с галлюцинациями, а 32% — с высокой стоимостью инференса, а доступ к GPU — проблема лишь для 5%.

Главный вывод: чтобы внедрить ИИ, одной модели не достаточно, еще нужно обосновать ее бизнес-ценность и держать под контролем поведение.
 
🟡ИИ внутри стартапов.

77% команд используют ИИ для помощи в разработке (GitHub Copilot почти у всех), 65% — для генерации контента, 57% — для поиска знаний.
Те, у кого ИИ активно используется получают 15–30% прироста эффективности. Самые распространенные юзкейсы: кодинг, аналитика, поиск по внутренней документации.


Самое неожиданное
Несмотря на популярность OpenAI, стоимость API и непредсказуемость инференса — головная боль даже у тех, кто платит миллионы в месяц.


🔜 Ознакомиться с полным отчетом

@ai_machinelearning_big_data

#news #ai #ml