Шпаргалка по очистке данных в Python Pandas

1. Обзор данных

import pandas as pd
df = pd.read_csv('data.csv')   # Загрузить CSV
df.head(5)                     # Первые 5 строк
df.info()                      # Типы данных и количество null
df.describe()                  # Сводная статистика

2. Работа с пропусками и дубликатами

df.isnull().sum()              # Посчитать пропуски
df.dropna()                    # Удалить строки с null
df.fillna(0)                   # Заполнить пропуски нулями
df.duplicated().sum()          # Посчитать дубликаты
df.drop_duplicates()           # Удалить дубликаты

3. Переименование и приведение типов

df.rename(columns={'old': 'new'})   # Переименовать колонку
df.astype({'col': 'int'})           # Сменить тип данных
df.columns.str.strip()              # Убрать пробелы

4. Фильтрация и выборка

df.loc[df['col'] > 100]             # Фильтр по условию
df.iloc[0:5]                        # Выбор по индексу строк
df['col'].isin(['A', 'B'])          # Фильтр по значениям

5. Сортировка и группировка

df.sort_values('col')               # Сортировка по возрастанию
df.groupby('group')['val'].mean()   # Группировка и агрегация
df['col'].value_counts()            # Подсчёт уникальных значений

6. Операции с колонками

df['new'] = df['col1'] + df['col2']               # Новая колонка
df['col'] = df['col'].apply(lambda x: x*2)        # Применить функцию
df.drop('col', axis=1)                            # Удалить колонку

7. Сохранение очищенных данных

df.to_csv('cleaned.csv', index=False)  # Экспорт в CSV

👉 @PythonPortal