Библиотека ftfy

Библиотека ftfy поможет вам исправить моджибаке, что очень полезно в случаях использования NLP. Помимо этого, ftfy исправит неправильные кодировки, неправильные окончания строк и неправильные кавычки. Согласно документации, ftfy может понимать текст, который был декодирован в любой из следующих кодировок: Latin-1, Windows-1252, Windows-1251, Windows-1250, ISO-8859–2, MacRoman, cp437.

🔗 Python tricks