В файлах встречаются символы, нечитаемые ни в одной кодировке.
Например, есть csv файл с табличными данными и со столбцом, содержащим текстовую информацию, например, чат. В чате могут встретится символы (например, смайлик), которые не читаются с помощью библиотеки Pandas ни в одной кодировке. Прочитаем файл с нечитаемыми символами и разделим его на части.
# Импортируем необходимые библиотеки:
import io
import itertools
import csv
import pandas as pd
# Создадим пустые списки для данных и для заголовков:
data, head = [ ] , [ ]
href_f = ‘primer.csv’ # Ссылка на файл
k = len(open(href_f,encoding='utf-8-sig', errors = 'ignore').readlines()) # количество строк в файле
result_df=pd.DataFrame()
with io.open(href_f, encoding = 'utf-8-sig', errors = 'ignore') as f:
mycsv=csv.reader( f , delimiter="~")
for raw in itertools.islice(mycsv,0,1,1): # итерация для извлечения заголовка
raw_text='~'.join(raw)
head.append(raw_text.split('~'))
for raw in itertools.islice(mycsv,0,k,1): # цикл чтения файла построчно, с шагом и с определённого
# места. На данном шаге если файл большой, можно разбивать его на части.
raw_text='~ '.join(raw)
data.append(raw_text.split('~'))
result_df=pd.DataFrame(data)
result_df.columns=head
result_df
➡️ Читать дальше
@pro_python_code