Интеллект в коде: Python, AI, Data Science

📊 Тест Граббса: Как определить выбросы в данных?

В мире статистики выбросы — это значения, которые значительно отличаются от остальных наблюдений в наборе данных. Иногда они могут быть ошибками, а иногда — реальными аномалиями. Как же понять, что эти данные — выбросы? Здесь на помощь приходит тест Граббса.

🔍 Что такое тест Граббса?
Тест Граббса используется для выявления одного выброса в наборе данных. Он помогает обнаружить самые экстремальные значения, которые могут искажать анализ.

✨Как работает тест Граббса?
Он проверяет, насколько крайнее значение отклоняется от остальных данных.
Процесс включает:
1. Рассчитаем среднее значение (среднее арифметическое) и стандартное отклонение для всех наблюдений.
2. Определим максимально удалённое значение от среднего.
3. Проведем статистическую проверку, чтобы понять, насколько вероятно, что это значение — выброс.

📈 Когда использовать?
- Для небольших выборок (до 30 наблюдений).
- Когда нужно точно определить, не является ли крайнее значение ошибкой измерений или реальным выбросом.

❗️❗️❗️Важно! Тест Граббса применим только для одиночных выбросов. Если в данных несколько экстремальных значений, лучше использовать другие методы.

👨‍💻 Пример: Если у нас есть набор данных о времени выполнения задач и одно из значений существенно отличается от других (например, кто-то случайно ввел 999 минут вместо 9), тест Граббса поможет понять, стоит ли учитывать это значение или отклонить как ошибку.

📊Итог: Тест Граббса — это быстрый и эффективный способ проверять данные на наличие выбросов. Если работаете с небольшими выборками и хотите уверенно исключить ошибочные данные, этот тест — отличный инструмент!

#статистика #анализданных #тестГраббса #выбросы

⚡️ В Google Colab завезли Data Science агента!

Он создан специально для работы с DS/ML и может создавать не просто фрагменты кода, а целые ноутбуки. Все просто:

1. Нужно подгрузить свои данные

2. Описать цели (например, «визуализируй», «проведи EDA», «напиши и оптимизируй модель предсказания таргета»)

3. Сидеть и наслаждаться тем, как агент сам пишет и запускает ячейки, импортирует нужные библиотеки и совершенствует свой код

Кстати, на бенчмарке DABStep (он как раз оценивает способности анализировать дату) агент занял четвертое место, сразу после o1, o3-mini и Claude, а это довольно мощный уровень.

Доступно для всех юзеров

Интеллект в коде: Python, AI, Data Science pinned a GIF

Умельцы выкатили пять шедевральных промтов для построения идеальной жизни — достигаем любых целей в работе и личной жизни.

Дорожная карта развития навыков:

Assume the role of a Career Coach tasked with identifying and analyzing an individual's strengths and interests. Your initial step involves conducting a comprehensive evaluation to pinpoint these areas accurately. Following the assessment, your responsibility is to develop a tailored skill-building plan that aligns with the individual's career aspirations and personal goals. This plan should not only leverage their existing strengths but also address any gaps or areas for improvement. It must include specific, actionable strategies such as recommended courses, workshops, reading materials, and practical exercises. Additionally, the plan should outline measurable objectives and timelines to track progress. Your ultimate goal is to empower the individual to enhance their skillset effectively, thereby positioning them for success in their chosen career path.

Прокачиваем ежедневную производительность:

Act as a Personal Development Coach specializing in time management and goal achievement strategies. Create a personalized [daily/weekly/monthly] schedule designed to help achieve [my goals]. The schedule should account for all aspects of a balanced lifestyle, including work, personal time, and health. Incorporate effective time management techniques and prioritize tasks based on urgency and importance. Provide actionable steps and strategies to stay motivated and on track. Offer flexibility within the schedule to adapt to unforeseen circumstances while maintaining focus on the end goals.

Следим за здоровьем ежедневно:

Assume the role of a Wellness Coach, tasked with designing personalized wellness routines that encompass sleep schedules and mindfulness practices tailored to individual needs. Your objective is to create a balanced and holistic approach to improving overall well-being. This involves assessing the client's lifestyle, stress levels, and sleep patterns to craft a customized wellness plan. The plan should incorporate practical sleep hygiene practices to enhance sleep quality and various mindfulness exercises such as meditation, breathing techniques, and yoga, aimed at reducing stress and improving mental health. Ensure the routines are accessible, realistic, and can be seamlessly integrated into the daily lives of your clients, promoting sustained health benefits and a more mindful, restful lifestyle.

Формируем и отслеживаем привычки:

Create a system to create and track new habits effectively. Clearly define the habit the user wants to develop. This should be specific and actionable. Determine the desired outcome or frequency for the habit (e.g., daily, weekly). Outline steps or actions needed to incorporate the habit into the user's routine.

SkyReels V1 — шедевр для создания видео на ИИ стал ещё круче.

Забудьте про долгие рендеры — теперь можно собрать короткометражку за пару минут. SkyReels превращает текст или изображения в видео с 60 FPS и кинематографическим светом.

Что внутри:
— Генерация роликов по описанию сцены.
— Своя модель с 33 выражениями лица и 400+ движениями для живых кадров.
— Полный цикл производства: сценарий, монтаж и озвучка в одном месте.

Уже сейчас это один из самых продвинутых инструментов для тех, кто хочет снимать кино без съёмочной группы.

Пробуем тут.

Видео сгенерировано по промту: Real fish swimming in the water

🚀 Исследовательский анализ данных (EDA) — первый шаг к пониманию информации! 🔍

EDA — это процесс изучения данных, позволяющий выявить ключевые особенности, закономерности и аномалии до применения сложных моделей.

Что включает EDA:
- Визуализация данных: графики, диаграммы, гистограммы 📊
- Обработка пропусков: анализ отсутствующих значений 🔄
- Обнаружение выбросов: выявление аномальных данных ⚠️
- Статистический анализ: расчет средних, медианы, стандартного отклонения 📈
- Проверка гипотез: тестирование предположений для понимания закономерностей 🤔

Примеры применения:
* Медицина: определение факторов риска на основе данных о пациентах 🏥
* Банковский сектор: выявление мошенничества и оценка кредитных рисков💳
* Маркетинг: анализ покупательского поведения для оптимизации рекламных стратегий🛍


Используйте EDA для создания точных и эффективных моделей, которые помогают принимать обоснованные решения!

#EDA #DataAnalysis #DataScience #BigData #АнализДанных

Новое видео от Андрея Карпаты: «Как я использую LLM»

Это большой гайд по тому, как подобрать оптимальный инструмент для ваших задач и при этом сэкономить время и деньги. В программе:

– Как работают экосистемы LLM
– ChatGPT под капотом
– Ценообразование: как не переплачивать
– Ризонеры: когда и как их использовать
– Поиск в интернете, deep research, tool use
– Что такое advanced voice mode
– Claude и его артефакты
– Cursor
– NotebookLM
– Генераторы видео и картинок
– Память в ChatGPT
– И даже кастомные GPTs

Все таймкоды на видео помечены, общая продолжительность 2 часа. То что нужно на выходные

Приятного просмотра

📊 Распределение вероятностей: что это и какие бывают?

Распределение вероятностей показывает, с какой вероятностью случайная величина принимает то или иное значение. Оно бывает дискретным (конечное число значений) и непрерывным (значения из диапазона). Давайте разберём основные виды!

─────────────────────────
🔼 Дискретные распределения (конечное число значений):
✔️ Равномерное – все значения одинаково вероятны.
📌 Пример: бросаем честный кубик 🎲 – вероятность любой цифры 1/6.

✔️ Бернулли – всего два исхода: успех (1) или неудача (0).
📌 Пример: подбросили монету 🪙 – выпал орёл (1) или решка (0).

✔️ Биномиальное – сколько успехов будет в n независимых испытаниях.
📌 Пример: из 10 бросков монеты, сколько раз выпадет орёл?

✔️ Пуассоновское – вероятность редких событий за определённый интервал.
📌 Пример: сколько звонков поступит в колл-центр за минуту? 📞

─────────────────────────
🔼 Непрерывные распределения (значения из диапазона):
✔️ Нормальное – «колоколообразное», большинство значений около среднего.
📌 Пример: рост людей в популяции 👨‍👩‍👧‍👦.

✔️ Стандартное нормальное – частный случай нормального, где среднее = 0, стандартное отклонение = 1.
📌 Пример: оценки студентов по тесту, приведённые к стандартной шкале 📉.

Сегодня мы углубимся в тему переменных и разберём, на какие подтипы делятся количественные и качественные переменные. Погнали!

─────────────────────────
📊 Количественные переменные
Это данные, выраженные числами. Если можно задать вопрос «Сколько?», то это количественная переменная. Они делятся на два типа:

🔼 Дискретные переменные
Что это: Принимают отдельные, часто целые значения.
Пример: Количество очков в игре (например, 1500 очков) или число уровней, пройденных игроком.
🔼 Непрерывные переменные
Что это: Могут принимать любое значение в диапазоне.
Пример: Время прохождения уровня (например, 320.5 секунд) или скорость автомобиля (например, 80.3 км/ч).
─────────────────────────
🎨 Качественные переменные
Это данные, описывающие категории или характеристики. Если можно задать вопрос «Какой?» или «Кто?», то это качественная переменная. Они тоже делятся на два типа:

🔴 Номинальные переменные
Что это: Категории без естественного порядка.
Пример: Цвет персонажа (синий, красный, зелёный) или тип персонажа (воин, маг, стрелок).
🔴Порядковые переменные
Что это: Категории с определённым порядком.
Пример: Уровень сложности игры (легкий, средний, сложный) или степень удовлетворенности сервисом (низкий, средний, высокий).
─────────────────────────
💡 Ключевой момент:
Если можно посчитать или измерить – это количественно (и тут ещё два вида: дискретные и непрерывные). Если же данные описывают категории – это качественно (номинальные или порядковые).

В Yandex Cloud Foundation Models теперь можно разворачивать открытые модели легким движением руки

Никаких тебе долгих настроек окружения, мониторинга, масштабирования. Все происходит на готовых серверах, надо просто подобрать себе конфигурации. Из коробки уже можно запустить YandexGPT, LLaMa, Qwen, Mixtral, DeepSeek и др.

К слову, так можно использовать сразу несколько моделей параллельно или комбинировать их.

Но если вы более искушенный потребитель, то в Yandex Cloud AI Studio появилась возможность файнтюнить модельки методом LoRA. Для этого нужно собрать датасет, выбрать модель и… все.

LoRA позволит легко настроить модель для ваших задач или дообучить на определенный домен, и тогда можно будет даже маленькие модели эффективно гонять в проде за совсем небольшие деньги. При этом если датасет небольшой, дообучение займет всего минут 10.

Представьте, какая экономия времени и ресурсов для бизнеса. Экспериментируй и внедряй – не хочу

Целевая переменная в статистическом анализе и машинном обучении
🔍 Определение
Целевая переменная (Target Variable, зависимая переменная) — это основная переменная, которую модель пытается предсказать или объяснить. В статистическом анализе и машинном обучении она играет ключевую роль в построении прогнозов и принятии решений.
* Если рассматривать модель как функцию, то целевая переменная — это выход (output), который зависит от входных данных (фичей, независимых переменных).

📌 Примеры целевой переменной
Прогнозирование цен: в модели оценки стоимости недвижимости целевая переменная — цена дома.
Классификация клиентов: в задаче предсказания оттока клиентов целевая переменная — бинарный признак (останется клиент или уйдёт).
Диагностика заболеваний: в модели предсказания болезни целевая переменная — наличие или отсутствие заболевания (0 или 1).


🎯 Ключевые характеристики

1. Тип данных:
- Непрерывные (числовые) – например, цена квартиры, доход человека.
- Категориальные (дискретные) – например, вид транспорта (авто, метро, велосипед).
- Бинарные (0/1, Да/Нет) – например, успех рекламной кампании (успешна или нет).

2. Использование в моделях:
- В регрессии (Linear Regression, Random Forest Regression) целевая переменная непрерывная (например, прогнозирование спроса).
- В классификации (Logistic Regression, Decision Trees, Neural Networks) целевая переменная дискретная (например, определение спам-писем).

🔥 Роль целевой переменной в моделях
Целевая переменная определяет тип задачи машинного обучения (регрессия или классификация) и влияет на выбор алгоритма. Без правильно определённой и подготовленной целевой переменной невозможно обучить модель, так как именно на ней строится весь процесс предсказания.

⚡️ Вывод: В машинном обучении и статистике целевая переменная — это точка, к которой стремится модель. Грамотный выбор и корректная обработка целевой переменной критически важны для получения точных прогнозов и выводов. 🚀

📊 Переход к следующей фазе CRISP-DM: Data Preparation

Привет, друзья! 🚀 Я продолжаю изучение методологии CRISP-DM и перехожу к следующей важной фазе — Data Preparation (Подготовка данных). Это ключевой этап, который определяет, насколько точными и полезными будут ваши аналитические выводы.

🔍 Что такое Data Preparation?
Data Preparation — это процесс сбора, очистки, трансформации и структурирования данных перед их анализом. Если сравнить аналитику с кулинарией, то это как подготовка ингредиентов перед готовкой: чем лучше обработаны продукты, тем вкуснее блюдо!

* Этот процесс помогает избавиться от ошибок, пропусков, дубликатов и несоответствий, делая данные удобными для анализа и машинного обучения.

🎯 Основные цели Data Preparation
✔️ Очистка данных – удаление дубликатов, исправление ошибок и устранение пропущенных значений.
✔️ Стандартизация – приведение данных к единому формату (например, одинаковый стиль дат или валют).
✔️ Обогащение данных – объединение нескольких источников для более полного представления.
✔️ Трансформация – приведение данных в удобную для анализа структуру (например, создание новых столбцов или нормализация значений).
✔️ Фильтрация и отбор – выбор только необходимых данных для конкретной задачи.

🏢 Примеры применения Data Preparation в реальных проектах
📌 Финансы – анализ транзакций клиентов требует очистки и удаления дубликатов для корректного прогнозирования.
📌 Маркетинг – при сегментации аудитории нужно стандартизировать данные о клиентах (имена, номера телефонов, даты покупок).
📌 Медицина – объединение данных из разных систем (электронные карты пациентов, результаты анализов) для точного диагноза.

💡 Вывод
Data Preparation — это фундамент для качественного анализа! Чем чище и организованнее данные, тем более точные решения можно принимать. Если вы работаете с Power BI, SQL или Python, то этот этап — ваш лучший друг!

#DataAnalytics #DataScience #BigData #MachineLearning #AI #DataDriven

Как запустить стартап на ИИ? Гайд от основателя 25 прибыльных проектов

Стартапер Марк Лу поделился пошаговым алгоритмом, который помог ему запустить 25 проектов с доходом $123 000 в месяц.

В видео подробно разбирается весь процесс:
— Основы эффективной разработки.
— Какие технологии нужны для быстрого запуска.
— Как использовать нейросети для оптимизации кода и дизайна.

Гайд обещает полное понимание стартап-циклов всего за 3 часа — отличный материал для тех, кто хочет быстро выйти на рынок.

Смотрим тут.

Прокачай SQL в игре — сайт для обучения запросам на реальных кейсах

Нашли ресурс, который геймифицирует изучение SQL, превращая процесс в увлекательный челлендж.

Что внутри:

— Задачи на базе данных больницы — полный реализм.
— Разделение по сложности — от базовых SELECT до сложных многоуровневых запросов.
— Интерактивный формат, который помогает освоить один из важнейших языков программирования.

Пробуем тут.

Думаю, будет полезно ))

1. Введение в Power BI и его назначение📊
Power BI — это мощный инструмент от Microsoft для бизнес-аналитики и визуализации данных. Он создан для того, чтобы превращать сырые данные в понятные отчёты и интерактивные дашборды, что позволяет принимать обоснованные решения в реальном времени.

2. Ключевые особенности Power BI, обеспечивающие удобство🧐
* Интуитивно понятный интерфейс: Простота использования позволяет быстро освоиться даже новичкам.
* Интеграция с различными источниками данных: Легко подключается к базам данных, облачным сервисам и файлам Excel.
* Мощные возможности визуализации: Широкий выбор графиков, диаграмм и карт для наглядного представления информации.
* Автоматическое обновление данных: Настройка регулярного обновления отчётов без лишних усилий.
* Облачное решение и мобильный доступ: Работай с данными где угодно, будь то офис или мобильное устройство.

3. Примеры применения Power BI в реальных сценариях🤔
* Анализ продаж: Сравнивай показатели по регионам, товарам и временным периодам, чтобы оптимизировать стратегию.
* Мониторинг KPI: Следи за ключевыми показателями бизнеса с помощью интерактивных дашбордов, что позволяет оперативно реагировать на изменения.
* Отчёты по маркетинговым кампаниям: Оцени эффективность рекламных активностей, анализируя вовлечённость аудитории и конверсию.
* Финансовый анализ: Визуализируй финансовые потоки, доходы и расходы для детального контроля бюджета компании.

4. Заключение📇
Power BI — незаменимый инструмент для тех, кто хочет сделать анализ данных быстрым, удобным и максимально информативным. Благодаря широким возможностям визуализации и интеграции с разными источниками, он помогает оптимизировать управление данными и принимать стратегически важные решения на основе достоверных инсайтов.

🚀 Зачем вашему бизнесу BI-инструменты? 📊

Представьте: все данные вашей компании — продажи, финансы, клиенты — собраны в одном месте, анализируются в реальном времени и превращаются в простые графики. Это не мечта, а реальность с BI-инструментами (Business Intelligence). Вот почему они нужны каждому бизнесу:

🔍 5 причин внедрить BI:

1. Единая картина данных
Больше не нужно сводить отчеты из Excel вручную. BI агрегирует данные из CRM, соцсетей, бухгалтерии и других систем автоматически.

2. Скорость решений
Анализ за минуты вместо дней. Видите тренды, аномалии и возможности здесь и сейчас — и действуете на опережение.

3. Визуализация вместо таблиц
Диаграммы, дашборды, heatmap — сложные данные становятся понятными даже тем, кто далек от аналитики.

4. Прогнозирование
BI не только показывает, что было, но и предсказывает, что будет. Снижайте риски и планируйте бюджеты на основе данных.

5. Экономия ресурсов
Автоматизация отчетов освобождает сотни часов, а оптимизация процессов (например, логистики) сокращает издержки.

👉 Примеры инструментов:
- Power BI
- Tableau
- Google Looker Studio
- Qlik

Даже малый бизнес может начать с бесплатных версий — прогресс не требует миллионов.

💡 Фишка: Компании с BI быстрее адаптируются к кризисам, находят ниши и удерживают клиентов. А ваши конкуренты уже их используют?

📌 Итог: BI — это не «сложно и дорого», а «быстро и выгодно». Начните с малого: подключите один источник данных и сделайте первый дашборд. Результаты удивят!

#БизнесАналитика #ДанныеРешают #BI #СоветыДляБизнеса

🚨 Замена программистов на ИИ — путь к катастрофе? 🚨

Франческо Гадалета, эксперт в области технологий и искусственного интеллекта, опубликовал жёсткую колонку о том, почему массовые увольнения разработчиков ради ИИ — огромная ошибка.

🔹 Компании увольняют программистов, но скоро пожалеют
Поначалу всё кажется гладким, но затем:
— ИИ генерирует код без понимания логики продукта, и системы начинают ломаться.
— Выявляются критические баги и уязвимости, клиенты жалуются, регуляторы начинают проверки.
— Исправлять некому: опытных специалистов уволили, а нанять новых сложно — лучшие уже ушли.

🔹 Новое поколение разработчиков теряет компетенции
Раньше джуны учились на реальных задачах, но теперь их просто не нанимают, заменяя ИИ. В итоге:
— Разработчики перестают разбираться в коде, привыкая просто нажимать «Сгенерировать».
— Они не умеют находить глубинные причины багов и оптимизировать системы.
— Без практики и наставничества IT-индустрию ждёт дефицит квалифицированных кадров.

🔹 Опытные специалисты станут элитой
Пока компании сокращают IT-отделы, самые ценные программисты уходят в узкие ниши:
— Системное программирование и низкоуровневая оптимизация.
— Исследования в области интерпретируемости ИИ.
— Финтех и хардкорный backend, где автоматизация пока бессильна.

Через несколько лет спрос на разработчиков взлетит, но лучшие будут либо заняты, либо слишком дороги для большинства компаний.

📊 Основные типы данных в SQL: что нужно знать

SQL — это язык для работы с базами данных, и от выбора типов данных зависит их производительность и удобство. Разбираемся, какие типы есть и как их применять!

🔹 Числовые типы
INTEGER (INT) — целые числа (например, ID).
DECIMAL(p, s) — точные числа для финансов (например, 12345.67).
FLOAT — приблизительные числа для науки.
Пример: Цена — DECIMAL(10,2), возраст — INT.

🔹 Текстовые типы
CHAR(x) — фиксированные строки (например, код "RU").
VARCHAR(x) — строки разной длины (имена).
TEXT — большие тексты (описания).
Пример: Логин — VARCHAR(50), пост — TEXT.

🔹 Даты и время
DATE — только дата (2023-10-25).
TIME — только время (14:30:00).
TIMESTAMP — дата + время.
Пример: Регистрация — TIMESTAMP.

🔹 Бинарные типы
BLOB — файлы, картинки.
Пример: Аватарка — BLOB.

🔹 Булев тип
BOOLEAN — да/нет (true/false).
Пример: Активен ли юзер — BOOLEAN.

💡 Советы:
ID — всегда INTEGER.
Деньги — DECIMAL (никаких FLOAT!).
Разные строки — VARCHAR для экономии места.
Правильный тип данных — залог быстрой и надёжной базы.

Вот свежак из мира ИИ – вышло обновление Grok-3 от xAI! Это настоящий прорыв, и вот почему:

🚀 Что нового?
• 10 раз умнее Grok-2: По словам Илона, новая версия решает задачи в математике, кодинге и науке на совершенно новом уровне.
• Режимы рассуждений: Фишки «Think» и «Big Brain» позволяют не только получать ответ, но и наблюдать, как ИИ «думает» – просто космос!
• DeepSearch: Эта функция анализирует интернет в реальном времени, чтобы предоставить максимально точную информацию.
• Голосовой режим: Уже совсем скоро Grok-3 порадует нас голосовыми возможностями – будущее уже здесь!

🔥Почему это круто?
Grok-3 задаёт новый стандарт для чат-ботов. Он не просто генерирует ответы, а умеет рассуждать, проверять свои выводы и даже создавать игры на лету! Это серьёзное оружие в борьбе с конкурентами вроде ChatGPT, DeepSeek и Gemini.

💡 Моё мнение:
Обновление Grok-3 – это не просто апгрейд, а настоящий скачок вперёд, который открывает массу возможностей для разработчиков и всех, кто интересуется ИИ. С нетерпением жду, какие ещё фишки появятся в будущем!

#Grok3 #xAI #ИлонМаск #ИИ #новости

Microsoft представила первый в истории квантовый чип, основанный на топологических проводниках.

Компания совершила настоящий прорыв в физике и вычислительных технологиях, открыв новое состояние материи.

Ключевые моменты:
- Обычно мы знаем три состояния материи: твёрдое, жидкое и газообразное. Теперь к ним добавилось четвёртое — топологическое.
- За 20 лет исследований Microsoft удалось создать материалы, из которых можно делать топологические проводники.
- Такие кубиты не следуют привычным законам термодинамики и электродинамики.
- Благодаря им возможно построить квантовый компьютер с миллионом кубитов, способный решать задачи, на которые сегодняшним суперкомпьютерам понадобились бы тысячелетия.
- У Microsoft уже есть рабочий чип под названием Majorana 1.

Что это значит:
- Появление топологических проводников сравнивают с революцией полупроводников в прошлом веке.
- Сейчас компания работает над чипом размером с ладонь, который по мощности превзойдёт все существующие компьютеры вместе взятые.
- Разработка этой технологии займёт не десятилетия, а всего несколько лет.
- Этот шаг обещает полностью перевернуть наше понимание вычислений и открыть новые горизонты для человечества.