TGViewer
Data Science | Machinelearning [ru] Data Science | Machinelearning [ru] @devsp · 19.8K subscribers
Post #4443 3.33K
👩‍💻 Задачка по Python

Напишите скрипт, который удаляет дублирующиеся строки из CSV-файла на основе указанного столбца и сохраняет результат в новый файл.

➡️ Пример:

python remove_duplicates.py input.csv output.csv column_name
id,name,age
1,John,30
2,Jane,25
4,Bob,35


Решение задачи ⬇️

import pandas as pd
import sys

if len(sys.argv) < 4:
print("Использование: python remove_duplicates.py <input_file> <output_file> <column_name>")
sys.exit(1)

input_file = sys.argv[1]
output_file = sys.argv[2]
column_name = sys.argv[3]

try:
df = pd.read_csv(input_file)
df = df.drop_duplicates(subset=[column_name])
df.to_csv(output_file, index=False)
print(f"Дубликаты удалены. Результат сохранён в {output_file}")
except Exception as e:
print(f"Ошибка: {e}")
  • 👍 4
  • 👎 2
  • ❤ 1
More from @devsp
  1. Oct 8, 2026Разбираем decision-модели по кишкам: что внутри Jev, Clef, pplx-decider, Strands Decider,…
  2. Oct 8, 2026Европа тоже влезла в гонку языковых моделей: Германия впервые выкатила модель с результато…
  3. Oct 7, 2026Google выкатила EmbeddingGemma 2 Открытых мультимодальных моделей под эмбеддинги до неё не…
  4. Oct 7, 2026Матан: три подборки по основам 1. База по математике для машинного обучения 2. База по мат…
  5. Oct 6, 2026Яндекс открыл YTsaurus Flow: обработка данных в реальном времени для более точных рекоменд…
  6. Oct 6, 2026Парсить текст без LLM? Проект Real AI SA всё ещё дышит С прошлого поста об этой штуке прош…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →