TGViewer
Channel Public Channel
Интеллект в коде: Python, AI, Data Science

Интеллект в коде: Python, AI, Data Science

@ai_in_progress

Обучаюсь Data Science и делюсь практикой: Python, аналитика данных, машинное обучение и новости AI.
Конспекты, разборы задач, примеры кода и свежие технологии, всё по делу и без «воды».
Для тех, кто идёт в AI от нуля к проектам.

Связь: @Ml_panda_user
Subscribers
125
Photos
195
Videos
22
Links
65

Showing posts older than #165 · Back to latest

Older Posts 20 shown
Post #163 47
✔️ Тенденция регулирования ИИ меняется: техгиганты переходят от «стремления к регулированию» к «отказу от регулирования».

Сэм Альтман, генеральный директор OpenAI, на слушаниях в Сенате заявил, что государственное одобрение для запуска мощных ИИ-систем губительно для технологического лидерства США. Это резкий разворот позиции после его же призывов к созданию регуляторного агентства два года назад. Теперь акцент сместился: вместо предупреждений об «экзистенциальных рисках» ИИ топ-менеджеры и власти требуют ускорить разработки, чтобы обогнать Китай.

OpenAI не одинока в резком смене курса: Google DeepMind отказался от запрета на военные ИИ-проекты, а Microsoft и компания Марка Цукерберга сняли ограничения на сотрудничество с армией.
washingtonpost.com

✔️ Nvidia адаптирует чип H20 для Китая, чтобы обойти экспортный контроль США.

Nvidia планирует выпустить упрощенную версию чипа H20 для китайского рынка уже в июле. Модификация связана с ужесточением экспортных ограничений США, которые заблокировали поставки оригинального чипа без специальной лицензии. Новый вариант H20 получит значительно урезанную память и другие технические ограничения, но позволит Nvidia сохранить позиции на ключевом рынке, где за прошлый год компания заработала $17 млрд.

По данным инсайдеров, китайские клиенты Tencent, Alibaba и ByteDance уже активно интересовались чипом, нарастив заказы до $18 млрд только с начала года. Глава Nvidia Дженсен Хуанг недавно посетил Пекин, подчеркнув стратегическую важность региона для компании.
reuters.com

✔️ Google инвестирует в 3 площадки для развития ядерной энергетики в США.

Google расширяет свое участие в энергетическом секторе, выделив финансирование стартапу Elementl Power для подготовки 3 площадок под современные ядерные проекты в США. Каждый объект планируют оснастить реакторами мощностью от 600 МВт, что должно помочь корпорации обеспечить стабильное энергоснабжение для своих дата-центров. Сумма вложений не раскрывается, но цель партнерства — ускорить ввод новых мощностей до 2035 года.

Elementl Power, основанная в 2022 году, позиционирует себя как разработчика «под ключ», предлагающего решения для клиентов, которые хотят доступ к чистой энергии.
world-nuclear-news.org

✔️ LegoGPT генерирует конструкции LEGO по текстовым описаниям.

Исследователи из Университета Карнеги-Меллон представили LegoGPT — нейросеть, которая превращает текстовые запросы в рабочие схемы сборки LEGO. Модель обучалась на 47 тысячах структур, что позволяет ей создавать оригинальные дизайны с нуля.

Система поэтапно подбирает блоки, проверяя их совместимость и устойчивость. Если деталь пересекается с другими или «висит в воздухе», LegoGPT откатывается к стабильному шагу и продолжает сборку. Результат всегда можно собрать руками или роботом. Код проекта доступен на GitHub.
tomshardware.com

✔️ Google создала Gemini Nano для защиты от мошенничества в реальном времени.

Google усилила борьбу с онлайн-мошенничеством, интегрировав модель Gemini Nano в браузер Chrome. Технология работает прямо на устройстве, анализируя сайты в режиме реального времени и блокируя фишинговые страницы до того, как пользователь успеет ввести данные.

В Android-версии Chrome появились ИИ-уведомления: если система заподозрит спам в push-сообщениях, предложит отписаться или заблокировать. Аналогичные алгоритмы теперь сканируют звонки и SMS — Gemini Nano распознает подозрительные шаблоны, даже если схема новая.
blog.google
  • 🔥 3
  • 👍 1
  • 🫡 1
Post #162 51
33.1 модуль

🚀 Что такое Airflow и DAG? Простыми словами о мощном инструменте!

1️⃣🗺 Введение в Airflow
Apache Airflow — это платформа с открытым исходным кодом для создания, планирования и мониторинга сложных рабочих процессов (workflow). Представьте, что вам нужно автоматизировать ежедневную обработку данных, генерацию отчетов или обновление моделей ML. Airflow позволяет описать эти процессы как код, управлять их выполнением по расписанию и отслеживать ошибки.

2️⃣ 🔑 Ключевые функции Airflow
➖Рабочие процессы как код: Пишете задачи на Python, а Airflow превращает их в последовательности действий.
➖Планирование: Запускайте задачи по расписанию (например, каждый день в 8:00).
➖Мониторинг: Веб-интерфейс показывает статус задач, логи и ошибки.
➖Масштабируемость: Работает с тысячами задач и интегрируется с облачными сервисами (AWS, GCP).
➖Гибкость: Подключайте любые инструменты через плагины (базы данных, API, ML-фреймворки).

3️⃣📊 Что такое DAG?
DAG (Directed Acyclic Graph) — это направленный ациклический граф, основа Airflow.
➖Направленный: Задачи связаны последовательностями (например, задача B выполнится только после задачи A).
➖Ациклический: Нет циклов — нельзя вернуться к предыдущей задаче (это исключает бесконечные петли).

DAG определяет, как задачи зависят друг от друга, в каком порядке и при каких условиях выполняются.

👉👉 Аналогия: Сборка LEGO. Инструкция (DAG) говорит: сначала собери основание (задача 1), потом стены (задача 2), затем крышу (задача 3). Нельзя начать крышу, пока нет стен!

#Airflow #DataEngineering #Automation #DAG
  • 🔥 5
  • 🥴 1
  • 🫡 1
Post #161 63
Прокачиваемся в Python за 100 дней — бесплатный гайд от китайского разработчика

Если ты хочешь с полного нуля стать гуру Python, это именно то, что нужно:

— От основ до профи: автор объясняет всё — как работает Python внутри, на уровне процессора и памяти, и как писать на нём продвинутые штуки с фреймворками и алгоритмами.
— 100 дней — 100 тем: без перегруза, по шагам, с практикой.
— Каждый урок — как мини-глава учебника, но на человеческом языке и с кучей примеров.
— После каждой главы — задачи на закрепление от простого до сложного.
— И всё это БЕСПЛАТНО — без «купи подписку» и прочих ловушек.

Идеально для тех, кто устал от «курсов ради курсов» и хочет реально научиться кодить.

Учимся тут.
  • ❤ 3
  • 🔥 3
  • 🫡 3
Post #160 53
KREA УНИЧТОЖИЛА ФОТОШОП — теперь это мощнейший онлайн-редактор с нейросетью внутри

Теперь можно забыть про часы в Figma и Illustrator — KREA делает любой дизайн за минуты.

Что умеет:
— Создаёт арты, баннеры, макеты, рекламу и любые визуалы;
— Просто кидаешь картинки на холст и рисуешь стрелками, что с ними сделать;
— Под капотом — имбовый генератор от OpenAI;
— На выходе — пикчи высокого качества, готовые хоть в печать.

Теперь ты — дизайнер, даже если не умеешь в фотошоп.

Пробуем тут.
  • 🔥 4
Post #159 47
модуль 32.1

🚀 Введение в Docker: Основы для начинающих

Хотите упростить разработку и запуск приложений? 🐳
Docker — это платформа для создания, упаковки и запуска приложений в изолированных средах — контейнерах. Контейнеры включают всё необходимое: код, зависимости, настройки. Это как «виртуальная машина», но легче и быстрее!

📦Что такое образ и контейнер?
Образ (Image) — это шаблон с инструкциями для создания контейнера.
➖Содержит ОС, код, библиотеки и настройки.
➖Примеры образов: nginx (веб-сервер), postgres (база данных), python:3.9 (среда Python).
➖Как установочный файл программы, который можно использовать многократно.

Контейнер (Container) — это запущенный экземпляр образа.
➖Изолированная среда, где работает ваше приложение.
➖Например: если образ — это чертеж дома, то контейнер — построенный по нему дом.
➖Можно запускать, останавливать, удалять и копировать.

🔥 Зачем использовать Docker?
✅Изоляция: Каждое приложение работает отдельно, без конфликтов.
✅ Переносимость: Запускайте один и тот же контейнер на любой ОС.
✅ Масштабируемость: Легко копируйте и распределяйте контейнеры.
✅ Экономия ресурсов: Контейнеры используют общее ядро системы.

🔧 Основные команды Docker
Работа с образами:
➖docker pull <имя_образа> — скачать образ из репозитория (например, docker pull nginx).
➖docker build -t <имя_образа> . — собрать образ из Dockerfile в текущей папке.
➖docker images — показать все локальные образы.
➖docker rmi <имя_образа> — удалить образ.

Управление контейнерами:
➖docker run <имя_образа> — запустить контейнер из образа.
➖docker run -d <имя_образа> — запустить контейнер в фоновом режиме (detached).
➖docker run -p <хост_порт>:<контейнер_порт> <имя_образа> — пробросить порты (например, -p 8080:80).
➖docker ps — показать запущенные контейнеры.
docker ps -a — показать все контейнеры (включая остановленные).
docker stop <ID_контейнера> — остановить контейнер.
docker start <ID_контейнера> — запустить остановленный контейнер.
docker rm <ID_контейнера> — удалить контейнер.
docker logs <ID_контейнера> — посмотреть логи контейнера.
docker exec -it <ID_контейнера> bash — войти в контейнер через терминал (для отладки).

#Docker #DevOps #Программирование #Инструменты #AI_In_Progress
  • 🔥 3
  • 🤔 1
  • 🕊 1
Post #158 46
PowerPoint — в мусорку: Gamma 2.0 делает презентации и сайты за секунды

Обновлённая версия хайповой нейросети Gamma теперь умеет ещё больше:
— Генерирует сайты и презентации с нуля — по описанию;
— Поддерживает 60 языков, включая русский;
— Можно редактировать и генерировать картинки прямо внутри;
— Экспорт во все форматы — PDF, PPTX, HTML и др.;
— Всё это бесплатно.

Теперь не ты делаешь презентации — теперь нейросеть делает их за тебя.
  • 🔥 4
  • 👍 3
  • 🫡 1
Post #157 48
🚀 Что такое FastAPI? Современный фреймворк для ваших API 🚀

Хотите создавать сверхбыстрые API с минимальным кодом? Знакомьтесь с FastAPI — современным высокопроизводительным фреймворком для создания API на Python. Давайте разберемся, почему он так популярен!

FastAPI — это фреймворк на Python, созданный для быстрой разработки RESTful API. Он построен на базе Starlette (для работы с веб-запросами) и Pydantic (для валидации данных). Идеален для тех, кто ценит скорость, простоту и масштабируемость.

🔥 Ключевые особенности и преимущества
1️⃣Молниеносная производительность ⚡️
➖Использует ASGI (асинхронный интерфейс), что позволяет обрабатывать запросы асинхронно.
➖Обгоняет Flask и Django в тестах производительности.

2️⃣Удобство для разработчиков 😎
➖Автоматическая генерация документации (Swagger UI и ReDoc).
➖Минимум шаблонного кода благодаря аннотациям типов Python.

3️⃣Валидация данных ✅
➖Pydantic автоматически проверяет данные запроса. Больше никаких ручных проверок!

4️⃣Стандарты и совместимость 📦
➖Поддерживает OpenAPI, JSON Schema и OAuth2.

5️⃣Асинхронность 🔄
➖Обрабатывайте тысячи запросов одновременно с помощью async/await.

6️⃣Внедрение зависимостей 💉
➖Упрощает настройку сложных систем (аутентификация, подключение к БД).

7️⃣Безопасность 🔒
➖Встроенная поддержка OAuth2, JWT и HTTPS.

💡 Примеры и сценарии использования
Простой пример кода
Создайте API-эндпоинт за пару секунд:
from fastapi import FastAPI

app = FastAPI()

@app.get("/")
def read_root():
return {"Hello": "Мир"}

@app.get("/items/{item_id}")
def read_item(item_id: int, query_param: str = None):
return {"item_id": item_id, "query_param": query_param}

Запустите сервер командой uvicorn main:app --reload, и ваше API готово! Документация доступна по адресу /docs.

Где использовать FastAPI?
➖RESTful API: Бэкенд для мобильных и веб-приложений.
➖Приложения реального времени: Чат-боты, live-обновления через WebSockets.
➖Микросервисы: Легкие и масштабируемые сервисы.
➖ML-модели: Развертывание API для обработки данных (распознавание изображений, NLP)
➖Serverless: Интеграция с AWS Lambda, Vercel и др.

#Python #FastAPI #ВебРазработка #API #Программирование
  • 🔥 3
  • 🫡 1
Post #156 48
Клиент-серверная архитектура — это когда одна сторона (клиент) отправляет запрос, а другая (сервер) отвечает. Например, когда ты открываешь сайт — ты клиент, сервер отдаёт тебе страницу.

API (Application Programming Interface) — это правила, по которым одна программа может общаться с другой. API объясняет, какие запросы можно делать и какие ответы ожидать.

Протокол — это набор правил для передачи данных. Он нужен, чтобы все участники общения точно понимали друг друга.

HTTP — самый популярный протокол в интернете. Он определяет, как клиенту отправить запрос и как серверу на него ответить (например, загрузка сайта через браузер).

REST API — это способ построения API через HTTP. Он использует стандартные методы (GET, POST, PUT, DELETE) для работы с данными и передаёт состояние объектов.

Итог: клиент делает запрос → сервер отвечает по правилам API → всё это происходит через протокол (обычно HTTP).
  • 👍 1
  • 🔥 1
  • 😱 1
  • 🫡 1
Post #155 40
модуль 30(полезная функция для выбросов в Датафрейме)

def clean_year_dynamic(df, columns, factor=1.5):
q25 = df[columns].quantile(0.25)
q75 = df[columns].quantile(0.75)
iqr = q75 - q25
low = q25 - factor * iqr
high = q75 + factor * iqr
df[columns] = df[columns].clip(lower=low, upper=high)
return df


1️⃣Определение квартилей (25-й и 75-й)
q25 = df[columns].quantile(0.25)
q75 = df[columns].quantile(0.75)

➖Здесь quantile(0.25) находит первый квартиль (Q1), то есть значение, ниже которого находится 25% всех данных.
➖quantile(0.75) находит третий квартиль (Q3), то есть значение, ниже которого находится 75% всех данных.
➖Эти два квартиля помогают определить межквартильный размах (IQR), который является мерой разброса данных.

2️⃣Расчет интерквартильного размаха (IQR)
iqr = q75 - q25

➖IQR (interquartile range) — это разница между третьим квартилем (Q3) и первым квартилем (Q1). Это показывает диапазон значений, в котором находится 50% всех данных (между 25%-й и 75%-й процентилями).
➖IQR используется для выявления выбросов: данные, которые находятся далеко от этого диапазона, считаются выбросами.

3️⃣Определение границ для выбросов
low = q25 - 1.5 * iqr
high = q75 + 1.5 * iqr

Теперь мы вычисляем границы для выбросов:
➖Нижняя граница (low): все значения ниже этой границы считаются выбросами.
➖Верхняя граница (high): все значения выше этой границы считаются выбросами.

Границы определяются как
➖Q1−1.5×IQR (для нижней границы)
➖Q3+1.5×IQR (для верхней границы)

Величина 1.5 является стандартным множителем для IQR, который обычно используется для определения выбросов.

4️⃣Обрезка данных (Clip)
df[columns] = df[columns].clip(lower=low, upper=high)

➖Метод clip используется для ограничения значений в пределах заданных границ. Все значения ниже low заменяются на low, а все значения выше high заменяются на high.
➖Это означает, что значения, которые ранее считались выбросами (как меньше нижней границы или больше верхней), будут заменены на допустимые значения (на минимальное или максимальное значение из допустимого диапазона).

5️⃣Возврат очищенного DataFrame
return df

➖Функция возвращает DataFrame, где выбросы были заменены на допустимые значения (или обрезаны).

Пример
Предположим, что у нас есть следующий набор данных:
df = pd.DataFrame({'year': [2000, 2001, 2005, 2025, 3000]})

После применения этой функции, если для столбца year квартильные значения будут такими:
Q1=2001
Q3=2025
IQR=2025−2001=24
Нижняя граница = 2001−1.5×24=1953
Верхняя граница = 2025+1.5×24=2073
Значение 3000 будет заменено на 2073, так как оно выходит за пределы верхней границы.
  • 🔥 3
  • 🤔 1
  • 😱 1
Post #154 38
💡Итоги:
➖Стеки — для отмены действий, рекурсии, синтаксического анализа.
➖Очереди — для BFS, обработки задач, буферизации.
➖Деки — для гибких сценариев (история, скользящие окна).

#стеки #очереди #деки #Кодинг
  • 👍 3
Post #153 42
модуль 29.2

📌Стеки, очереди, деки — базовые структуры данных с примерами
🖥Три ключевые структуры данных, которые лежат в основе множества алгоритмов. Никакой магии — только логика и практика. Погнали!

1️⃣Стек (Stack)
Что это?
Структура, где элементы добавляются и удаляются по принципу «последний вошел — первый вышел» (LIFO).
Аналогия:
Стопка тарелок. Новую кладете сверху (push), верхнюю берете первой (pop). 🍽

а) Отмена действий (Ctrl+Z)
class TextEditor:  
def __init__(self):
self.text = ""
self.history = [] # стек для отмены

def write(self, char):
self.history.append(self.text) # сохраняем состояние
self.text += char

def undo(self):
if self.history:
self.text = self.history.pop() # восстанавливаем последнее состояние

editor = TextEditor()
editor.write("A") # текст: "A"
editor.write("B") # текст: "AB"
editor.undo() # текст: "A" (вернулись к предыдущему состоянию)

б) Проверка баланса скобок
def is_balanced(s):  
stack = []
brackets = {")": "(", "}": "{", "]": "["}
for char in s:
if char in "({[":
stack.append(char)
elif char in ")}]":
if not stack or stack.pop() != brackets[char]:
return False
return not stack

print(is_balanced("({[]})")) # True
print(is_balanced("({[}])")) # False

в) Стек вызовов (рекурсия)

def factorial(n):  
if n == 0:
return 1
return n * factorial(n-1) # каждый вызов добавляется в стек

print(factorial(5)) # 120


2️⃣Очередь (Queue)
Что это?
Структура, где элементы работают по принципу «первый вошел — первый вышел» (FIFO).
Аналогия:
Очередь в кассу магазина. Кто пришел первым, тот первым и уйдет. 🛒

а) Обработка задач
from collections import deque  

task_queue = deque()

# Добавляем задачи в очередь
task_queue.append("send_email")
task_queue.append("generate_report")
task_queue.append("backup_database")

# Обрабатываем по порядку
while task_queue:
current_task = task_queue.popleft()
print(f"Выполняем: {current_task}")
# Вывод:
# Выполняем: send_email
# Выполняем: generate_report
# Выполняем: backup_database

б) Поиск в ширину (BFS)
def bfs(graph, start):  
visited = set()
queue = deque([start])
while queue:
node = queue.popleft()
if node not in visited:
print(node)
visited.add(node)
queue.extend(graph[node]) # добавляем соседей

graph = {
"A": ["B", "C"],
"B": ["D"],
"C": ["E"],
"D": [],
"E": []
}
bfs(graph, "A") # A → B → C → D → E

в) Буфер данных (стриминг)
buffer = deque(maxlen=3)  # ограничиваем размер буфера  

# Добавляем данные
buffer.append("пакет1")
buffer.append("пакет2")
buffer.append("пакет3")
buffer.append("пакет4") # "пакет1" автоматически удаляется

print(list(buffer)) # ['пакет2', 'пакет3', 'пакет4']


3️⃣ Дек (Deque, Double-Ended Queue)
Что это?
Гибрид стека и очереди: элементы можно добавлять и удалять с обоих концов.
Аналогия:
Очередь, где можно встать как в начало, так и в конец. Например, поезд с вагонами, которые цепляют спереди и сзади. 🚆

а) Планировщик задач с приоритетами
from collections import deque  

tasks = deque()

# Обычные задачи идут в конец, срочные — в начало
tasks.append("task1")
tasks.append("task2")
tasks.appendleft("urgent_task")

print(tasks) # deque(['urgent_task', 'task1', 'task2'])

б) Алгоритм скользящего окна (максимум в подмассивах)
def max_sliding_window(nums, k):  
dq = deque()
result = []
for i, num in enumerate(nums):
while dq and nums[dq[-1]] <= num:
dq.pop()
dq.append(i)
if dq[0] == i - k: # удаляем элементы вне окна
dq.popleft()
if i >= k - 1:
result.append(nums[dq[0]])
return result

print(max_sliding_window([1,3,-1,-3,5,3,6], 3)) # [3, 3, 5, 5, 6]
  • 🔥 2
Post #152 45
модуль 29.1

👾 Сегодня поговорим о сердце программирования — алгоритмах. Без них не работали бы ни нейросети, ни ваш любимый TikTok. Готовы разобраться? Поехали!

1️⃣Что такое алгоритм и зачем он нужен?
Алгоритм — это четкая последовательность шагов для решения задачи. Как рецепт борща: если нарушить порядок, получится компот🥘
Почему важно?
➖Эффективность: Хороший алгоритм экономит время и ресурсы.
➖Масштабируемость: Позволяет обрабатывать гигабайты данных без «падений».
➖Универсальность: Один алгоритм можно адаптировать под разные задачи.
Пример:
Рекомендации Netflix — это алгоритмы машинного обучения, которые анализируют ваши просмотры и предсказывают, что вам понравится.

2️⃣ Основные типы алгоритмов
🔍Поисковые
➖Линейный поиск: Поочередная проверка элементов (O(n)).
def linear_search(arr, target):  
for i in range(len(arr)):
if arr[i] == target:
return i
return -1

➖Бинарный поиск: Работает только на отсортированных данных (O(log n)).

🔄 Сортировочные
➖Сортировка пузырьком: Меняет местами соседние элементы (O(n²)).
def bubble_sort(arr):  
for i in range(len(arr)):
for j in range(0, len(arr)-i-1):
if arr[j] > arr[j+1]:
arr[j], arr[j+1] = arr[j+1], arr[j]
return arr

Быстрая сортировка (QuickSort): Рекурсивно делит массив (O(n log n)).

3️⃣Где применяются алгоритмы?
ИИ и машинное обучение:

➖Алгоритм k-ближайших соседей (k-NN) для классификации изображений.
➖Деревья решений в прогнозировании цен.

Веб-разработка:
➖Алгоритмы кэширования (LRU) для ускорения сайтов.
➖Хеширование паролей (SHA-256).

Игры:
➖A* для поиска пути NPC в стратегиях.

Пример из жизни:
Когда вы ищете маршрут в Google Maps, алгоритм Дейкстры находит самый быстрый путь, учитывая пробки. 🚗

🤔Что запомнить:
Алгоритмы — основа любого софта, от калькулятора до ChatGPT.
Выбор алгоритма зависит от задачи: скорость vs память, точность vs приближение.
Практика — лучший способ понять алгоритмы (решайте задачи на CodeWars).

#алгоритмы #ии #программирование
  • 🔥 3
Post #151 49
модуль 29.1

🚀 Этапы Deployment: от планирования до документирования

Deployment — это не просто «загрузил код и забыл». Чтобы всё работало как часы, нужна системная работа до, во время и после выкатки. Разберем ключевые этапы, которые часто упускают из виду.

🗒 1. Планирование внедрения
Перед тем как нажимать кнопку «деплой», ответьте на вопросы:
Какие инструменты использовать?
➖Docker, Kubernetes, Jenkins — выбор зависит от масштаба и сложности проекта.
➖Кто отвечает за каждый этап?
Распределите роли в команде: кто тестирует, кто мониторит, кто чинит.
➖Стратегия отката
Что делать, если что-то пошло не так? Автоматический rollback или ручное восстановление?


Совет: Используйте чек-листы, чтобы не упустить детали.

👀 2. Настройка мониторинга
После деплоя начинается самое важное — контроль работы системы.
Что отслеживать?
— Нагрузка на сервер (CPU, RAM).
— Ошибки в реальном времени (логи, 500-е статусы).
— Доступность сервиса (uptime).
Инструменты:
— Prometheus + Grafana для метрик.
— Sentry или Datadog для ошибок.
— UptimeRobot для проверки доступности.


Совет: Настройте алерты в Telegram/Slack — узнаете о проблемах раньше пользователей.

🍀 3. Документирование проекта (Final Report)
Финал деплоя — не релиз, а документ, который сэкономит часы нервов в будущем.
Что включить:
➖Инфраструктура: схема серверов, версии ПО, конфиги.
➖Инструкции: как развернуть среду, как откатить версию.
➖Известные баги и фиксы: что сломалось при деплое и как починили.

Совет: Документируйте не только код, но и процессы (например, как общаться с поддержкой хостинга).

💡 Почему это важно?
Пропуск любого этапа — это риск:
➖Без плана деплой превращается в хаос.
➖Без мониторинга вы узнаете о проблемах от пользователей.
➖Без документации новые разработчики месяц будут разбираться в проекте.

#devops #deployment #programming #ai_in_progress
  • 🔥 2
  • 👍 1
Post #150 54
✔️ OpenAI добавляет невидимые символы в инференс моделей o3 и o4-mini.

Платные подписчики ChatGPT получили доступ к обновлённым моделям o3 и o4-mini в середине апреля, но пользователи быстро заметили странности: в длинных текстах появляются невидимые Unicode-символы - "Неразрывные пробелы" (U+202F). Они выглядят как обычные пробелы, но обнаруживаются через специальные инструменты.

Стартап RumiAI проанализировал ситуацию и предположил, что это попытка добавить водяные знаки для отслеживания ИИ-генерации. Однако символы легко удалить через поиск-замену, что ставит под вопрос их эффективность. Альтернативная версия — модели просто переняли форматирование из обучающих данных, где неразрывные пробелы используются для предотвращения разрывов строк.

OpenAI пока не дала никаких комментариев о причинах появления непечатных символов в результатах генерации.
winbuzzer.com

✔️ CharacterAI запускает AvatarFX: генерация видео с ИИ.

CharacterAI представила AvatarFX — систему, которая превращает изображения в говорящие, поющие и эмоционирущие видео за пару кликов. Технология сочетает фотореализм, синхронизацию движений губ, тела и рук, а также поддержку длинных роликов.

Под капотом — модифицированная архитектура DiT с flow-based диффузионными моделями, которые обучаются на разнообразных данных: от реалистичных людей до анимированных объектов. От конкурентов систему отличает работа с готовыми изображениями (не только текстовыми описаниями), поддержка нескольких говорящих в кадре и стабильность анимации.
Первыми доступ к AvatarFX получат подписчики CAI+. Остальным придется подождать или записаться в лист ожидания.
blog.character.ai

✔️ Dia: открытая ИИ-модель для генерации речи с контролем над интонацией и невербальными элементами.

Два корейских студента без глубокого опыта в ИИ разработали Dia — модель для создания подкаст-диалогов, способную конкурировать с Google NotebookLM. Используя TPU от Google, они обучили модель на 1,6 млрд. параметров, которая позволяет настраивать тон голоса, добавлять паузы, смех и клонировать голоса.

Dia доступна на Hugging Face и GitHub, для запуска на ПК нужен GPU от 10 ГБ VRAM. В отличие от аналогов, Dia даёт пользователям контроль над сценарием: можно прописать реплики, выбрать «характер» говорящего или загрузить образец для клонирования. Короткое тестирование, проведенное редакцией TechCrunch показало, что Dia справляется с диалогами на любые темы, а качество голосов не уступает коммерческим решениям.
techcrunch.com

✔️ Physical Intelligence выпустила модель для робототехники π-0,5.

Physical Intelligence представила модель π0.5 — шаг к роботам, которые справляются с задачами в совершенно новых условиях. В отличие от предшественников, эта система на базе VLA обучалась на разнородных данных: от распознавания объектов до демо движений роботов. Это позволяет ей понимать не только как действовать, но и что именно делать в незнакомой среде — например, класть посуду в раковину, даже если раньше её не видела.

Модель анализирует семантику задачи, разбивает её на шаги и генерирует команды для моторных систем. π0.5 умеет реагировать и на голосовые команды разной детализации — от «убери посуду» до точечных указаний. В планах — улучшение автономного обучения и запросов помощи в сложных ситуациях.
physicalintelligence.company

✔️ Фильмы с ИИ смогут претендовать на «Оскар».

Академия киноискусств официально разрешила номинировать на «Оскар» фильмы, созданные с использованием ИИ. Как заявили организаторы, технологии генеративного ИИ не станут преимуществом или препятствием при оценке. Но теперь, чтобы голосовать в финале, члены Академии обязаны посмотреть все номинированные работы — это часть новых правил.

Несмотря на прогресс, споры вокруг ИИ не утихают. Актеры и сценаристы опасаются, что алгоритмы заменят их в создании сценариев или дубляжа. Хотя некоторые студии уже внедряют ИИ, аниматоры и режиссеры сомневаются: технологии пока не способны конкурировать с эмоциональной глубиной человеческой работы.
bbc.com

#news #ai #ml
  • 🔥 2
Post #149 51
✔️ o3 и o4-mini могут определять местоположение на фотографиях.

Пользователи ChatGPT применяют новые возможности анализа изображений o3 и o4-mini для определения местоположения, изображенного на фотографиях. Модели позволяют проводить детальный визуальный анализ изображений, чтобы определить местоположение на основе визуальных признаков без метаданных.

Тенденция, набирающая популярность в соцсетях, заключается в том, что пользователи загружают фотографии в ChatGPT и предлагают ИИ сыграть в игру, похожую на GeoGuessr, где он угадывает местоположение по изображению. Способность ИИ точно определять местоположение вызывает тревогу по поводу возможного злоупотребления и риска домогательства к людям через их фото в социальных сетях.
techradar.com

✔️ Google Gemma 3 QAT: мощный ИИ теперь на домашних GPU.

Google представила Gemma 3 QAT — новое поколение открытых моделей с квантованием, которое позволяет запускать их на обычных GPU. Благодаря Quantization-Aware Training (QAT) параметры моделей сжимаются в 4 раза (до 4 бит) без серьезной потери качества. Например, 27B-версия занимает всего 14 ГБ памяти вместо 54 ГБ, что делает ее доступной для RTX 3090, 12B работает на ноутбучных GPU RTX 4060, а компактные 4B и 1B версии — даже на смартфонах.

Модели совместимы с Ollama, LM Studio, MLX для Apple Silicon и llama.cpp. На Hugging Face и Kaggle доступны квантованные варианты в форматах Q4_0 и int4.
developers.googleblog.com

✔️ Netflix тестирует ИИ-поиск, который подбирает контент по настроению.

Netflix экспериментирует с новой функцией поиска на базе OpenAI, способной понимать естественный язык. Вместо стандартных запросов по жанрам или актерам пользователи смогут искать контент, описывая свое настроение или конкретные предпочтения простыми словами, например, «фильмы для грустного вечера». Тест запущен в Австралии и Новой Зеландии для iOS-устройств, а в ближайшие месяцы дойдет до США.
macrumors.com

✔️ IBM представила серию моделей Granite 3.3 с распознаванием речи.

IBM выпустила новое поколение моделей Granite 3.3, в котором нибольший интерес представляет Granite Speech 3.3 8B — компактная система для преобразования речи в текст (ASR) и перевода (AST). Модель, построенная на базе Instruct 8B, показала повышенную точность и меньшее количество ошибок в транскрипции, обгоняя даже закрытые аналоги вроде GPT-4o и Gemini 2.0 Flash.

В опенсорс опубликованы версии 8B и 2B, которые можно дорабатывать под конкретные задачи. Granite Speech поддерживает перевод с английского на 7 языков, а для интеграции RAG-функций IBM выпустила LoRA-адаптеры в рамках проекта Granite Experiments на Hugging Face.

Пока аудиоэнкодер работает только с английским, но в планах — мультиязычная поддержка, улучшение качества данных и добавление распознавания эмоций в речи. Параллельно компания уже тренирует Granite 4.0 с увеличенной скоростью и длиной контекста.
ibm.com

✔️ Together AI выпустила Open Deep Research, инструмент для структурированного анализа данных в вебе.

Together AI представила Open Deep Research — фреймворк для многошагового веб-поиска с открытым кодом. В отличие от обычных поисковиков, инструмент генерирует структурированные отчеты с цитатами, а не списки ссылок. Архитектура системы прозрачна: код, датасеты и модели доступны всем, а в основе — решения от Alibaba, Llama и DeepSeek.

Работает инструмент в 4 этапа: планирование, сбор данных через API Tavily, проверка и формирование ответа. Готовые отчtты выводятся в HTML с графиками (Mermaid JS) и иллюстрациями, созданными в Flux. Есть даже режим подкаста — текст озвучивается моделями Cartesia’s Sonic.

Together AI сделала систему модульной — разработчики могут менять модели, источники данных или добавлять форматы.
together.ai

#news #ai #ml
  • 🔥 2
  • ❤ 1
Post #148 58
Модуль 28.2
🧠 1️⃣ Переобучение и недообучение: что это и чем грозит

Переобучение (overfitting)

Это ситуация, когда модель слишком хорошо "запоминает" обучающие данные, включая шум и случайности, вместо того чтобы научиться общим закономерностям.
📉На обучающей выборке — отличные результаты,
📉 На новых данных (тест) — плохие.
Признаки:
➖Высокая точность на train
➖Низкая точность на test/val
Как распознать?
➖ Accuracy на train ≈ 99%, на test — 60%.
➖ Модель слишком сложная (например, дерево с глубиной 100).
Последствия: плохая обобщающая способность, низкая надежность на практике.

Недообучение (underfitting)
Когда модель слишком простая, чтобы уловить зависимости в данных.
📉 Плохо работает даже на обучающих данных.
Признаки:
➖Низкая точность на train и test
➖Низкая сложность модели (линейная регрессия для сложной зависимости и т.п.)
Как распознать?
➖Низкие метрики и на train, и на test.
➖Модель слишком простая (например, линейная регрессия для нелинейных данных).
Последствия: модель ничего не "понимает" о задаче.

🧪2️⃣Разделение данных: Train / Validation / Test

➖Train (обучающая выборка)
Используется для обучения модели — на этих данных она "учится".
➖Validation (валидационная выборка)
Нужна для оценки модели в процессе настройки (например, подбора гиперпараметров).
Это помогает выбрать лучший вариант до того, как мы "увидим" тестовые данные.

➖Test (тестовая выборка)
Оценивает финальное качество модели. Мы не трогаем её до самого конца, чтобы получить честную оценку того, как модель будет работать в реальности.
from sklearn.model_selection import train_test_split

# Сначала разделим на train и temp (оставим 20% для валидации и теста)
X_train, X_temp, y_train, y_temp = train_test_split(X, y, test_size=0.2, random_state=42)

# Потом делим temp пополам на val и test
X_val, X_test, y_val, y_test = train_test_split(X_temp, y_temp, test_size=0.5, random_state=42)


👉 Важно: Test-данные нельзя использовать для обучения или настройки! Это «темная лошадка», которая показывает реальное качество модели.

💱 3️⃣Кросс-валидация: что это и как работает
Кросс-валидация — способ более надежно оценить качество модели, особенно когда данных немного.

Как работает:
➖Данные делятся на k частей (фолдов).
➖Модель обучается на k-1 фолдах, а тестируется на оставшемся.
➖Повторяем это k раз, каждый раз с новой тестовой частью.
➖Считаем среднее значение метрики — это финальная оценка.

from sklearn.model_selection import cross_validate, cross_val_score
from sklearn.linear_model import LogisticRegression

# Загрузка данных
x = ... # Фичи
y = ... # Целевая переменная

# Создаем модель
model = LogisticRegression(random_state=42)

# Оценка с кросс-валидацией (5 фолдов)
results = cross_validate(model, x, y, cv=5, scoring='precision')

# Вывод метрик на каждом фолде
print("Precision на каждом фолде:", results['test_score'])

# Краткая версия (только метрики)
scores = cross_val_score(model, x, y, cv=5, scoring='accuracy')
print("Средняя accuracy:", scores.mean())

Что важно:
— cv=5 — число фолдов (часто берут 5 или 10).
— scoring — метрика (accuracy, precision, recall, F1).

Какие значения можно передавать в scoring
Встроенные метрики (строки-идентификаторы):
- Для классификации: 'accuracy', 'precision', 'recall', 'f1', 'roc_auc'.
- Для регрессии: 'r2', 'neg_mean_squared_error', 'neg_mean_absolute_error'.
Пользовательские функции — если стандартные метрики не подходят.
Список или словарь метрик — в cross_validate (например, ['accuracy', 'precision'])

#Overfitting #Underfitting #CrossValidation #AI_in_Progress
  • 🔥 4
  • 🤔 2
  • 🥰 1
  • 🐳 1
Post #147 59
Модуль 28.1
🚀 CRISP-DM: Этап Evaluation — Как Оценить Успех Вашей Модели?

Привет👋 Мы продолжаем разбирать методологию CRISP-DM, и сегодня на очереди предпоследний этап — Evaluation (Оценка). Это момент истины, когда мы понимаем, стоит ли наша модель усилий или пора возвращаться к чертежной доске. Давайте погрузимся!

📌 Зачем нужен Evaluation?
Цель этапа — ответить на два ключевых вопроса:
➖Решает ли модель поставленную бизнес-задачу?
➖Соответствует ли она техническим требованиям?
Здесь важно не просто посчитать accuracy, но и убедиться, что модель принесет реальную пользу бизнесу. Даже идеальная технически модель может провалиться, если не вписывается в процессы компании.

📊Офлайн vs Онлайн: Как Правильно Оценить Модель на Практике?

🔍 Офлайн-оценка: Проверяем на исторических данных
Что это?
Оценка модели на тестовой выборке с использованием бизнес-метрик. Например, предсказали отток клиентов — смотрим, сколько денег компания сэкономит, если удержит этих клиентов.
Зачем?
— Быстро и дешево проверить гипотезы.
— Не влияет на реальных пользователей (нет риска потерять клиентов).

🚀 Онлайн-оценка: A/B-тесты и боевые условия
Что это?
Запуск модели на реальных пользователях и сравнение с текущим решением (или случайным выбором). Например, часть аудитории получает рекомендации от новой модели, часть — от старой.
Зачем?
— Увидеть, как модель работает в «полевых условиях».
— Учесть факторы, которые невозможно смоделировать офлайн (например, поведение пользователей).


💡
➖Всегда начинайте с офлайн-оценки — если модель не проходит ее, онлайн-тест бессмысленен.
➖Симулируйте онлайн-сценарии офлайн — например, предсказывайте действия пользователей на основе их прошлого поведения.
➖Учитывайте сегменты пользователей — модель может хорошо работать в целом, но проваливаться для конкретной группы (например, premium-клиентов).

#CRISPDM #MachineLearning #AItesting #AI_in_Progress
  • 🔥 3
  • 🤔 1
  • 🕊 1
Post #144 74
Все ключевые метрики приложений🚀

📊 Активные пользователи
➖DAU — кто зашел сегодня. Пример: мессенджеры (каждый день).
➖WAU — кто зашел за неделю. Пример: форумы (несколько раз в неделю).
➖MAU — кто зашел за месяц. Пример: интернет-магазины (раз в месяц).
Зачем? Понять, как часто аудитория использует продукт.


🔥 Одновременные пользователи
➖CCU — онлайн прямо сейчас. Пример: 1000 игроков в Dota 2.
➖PCCU — рекорд онлайна. Пример: 2 млн в Fortnite при запуске сезона.
Зачем? Чтобы серверы не легли в пиковую нагрузку.


👅 Sticky Factor («Липкость»)
Насколько часто возвращаются:
Формула: DAU / MAU.
Пример: DAU=1000, MAU=5000 → 20%.
Идеал: Чем ближе к 100%, тем лучше.


🔗 Retention (Удержание)
Retention дня X — % вернувшихся через X дней.
Пример: Из 100 новых пользователей через день вернулись 50 → Retention дня 1 = 50%.
Лайфхак: Смотри Retention 1, 3, 7 дней — покажут, «заходит» ли продукт.

💸 Бизнес-метрики
➖ARPU — средний доход с пользователя:
Доход / Активные пользователи.
Пример: 10000/5000MAU=10000/5000MAU=2.

➖ARPPU — средний доход с платящих:
Доход / Платящие пользователи.
Пример: 10000/500=10000/500=20.

➖LTV — сколько принесет 1 пользователь за всю жизнь:
LTV = ARPU × Lifetime.
Пример: 2×12месяцев=2×12месяцев=24.

➖CAC — цена привлечения клиента:
Рекламный бюджет / Новые клиенты.
Пример: 5000/1000=5000/1000=5.

Золотое правило: LTV должен быть > CAC. Иначе — банкрот! 💀

📉 Churn Rate (Отток)
% клиентов, которые ушли:
➖Churn Rate = 100% – CRR.
Пример: Если CRR = 85%, то Churn = 15%.

💡 Главный секрет
Если Sticky Factor высокий, а Retention растет — продукт 🔥!
Если LTV/CAC ≥ 3 — можно масштабироваться. 🚀
  • 🔥 5
  • 🆒 2
  • 🤔 1
Post #143 65
🚀 Метрики тщеславия: почему "красивые цифры" могут быть пустышкой?

Привет, друзья! Сегодня разберемся с термином, который крутится в соцсетях, блогах и бизнесе — «Метрики тщеславия» (Vanity Metrics). Что это и почему их называют «парадными цифрами»? 🌟

🤔 Простыми словами:
Метрики тщеславия — это показатели, которые кажутся крутыми, но на деле мало что значат.
👉 Например:
➖100 тыс. подписчиков, но посты видят только 100 человек.
➖Много лайков, но ни одного заказа.
➖Миллион просмотров, но люди забывают о вас через минуту.
Это как наклейка «Я богач» на старой машине: выглядит ярко, но не меняет реальности. 🚗💨

❌Почему это ловушка?
Гнаться за такими цифрами — все равно что собирать воздушные шарики вместо золотых монет. 💰🎈
➖ Подписчики ≠ аудитория. Боты и «мертвые» аккаунты не купят ваш продукт.
➖ Лайки ≠ продажи. Можно собрать тысячу сердечек, но не заработать ни копейки.
➖Просмотры ≠ интерес. Если люди не возвращаются — это просто цифра в отчете.

🔍 На что смотреть вместо этого?
Полезные метрики — те, что влияют на ваш результат:
➖Конверсия (сколько подписчиков стали клиентами?).
➖Удержание (возвращаются ли люди к вам?).
➖ROI (окупились ли вложения в рекламу?).
➖Обратная связь (что говорят о вашем продукте?).

💡 Вывод:
Не дайте «парадным цифрам» ослепить вас! Цените качество, а не количество.
Спросите себя: «Эти метрики помогают мне расти или просто тешат мое эго?»

#маркетинг #аналитика #соцсети_без_фейков #бизнес_советы #SMM_лайфхаки
  • 🔥 3
  • 🫡 2
  • 🤔 1
  • 🍌 1
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →