Дедупликация данных в Python с функцией RecordLinkage.
Обнаружение дубликатов — важнейший процесс предварительной обработки данных, особенно при работе с большими наборами данных. В этом руководстве вы изучите дедупликацию данных с помощью пакета Python RecordLinkage в сочетании с Pandas для манипулирования данными.

https://brightinventions.pl/blog/data-deduplication-in-python-with-recordlinkage/