​Способ выделить уникальные элементы списка: фильтр Блума

Фильтр Блума позволяет быстро определить, не входит ли элемент в заданное множество. Операции вставки и проверки выполняются за постоянное время, независимо от размера множества. Библиотека bloom-filter как раз и помогает реализовать такую функциональность:

# Инициируем экземпляр фильтра
bloom = BloomFilter(max_elements=10000, error_rate=0.1)

# Проверка на наличие "test-key"
assert "test-key" in bloom is False

#лучшиепрактики