TGViewer
AI и 1С из Дубая AI и 1С из Дубая @konstantin1c · 526 subscribers
Post #108 446
Небольшой апдейт по сервису обезличивания данных. Протестировал я его на некотором количестве примеров, на разных LLM. И понял, что можно сильно уменьшить количество ложных срабатываний детекторов, если просто... разрешить им искать только те виды данных, с которыми они хорошо справляются. А с которыми не справляются - не разрешить. 😆

Основные ограничения коснулись названий организаций и адресов. Их нормально определял только детектор Natasha. Важная оговорка - я работал с примерами на русском языке.

В итоге получилось такое распределение обязанностей:
1. regex - e-mail, телефон, банковские карты, ИНН, СНИЛС, паспорт, IP-адреса
2. Natasha - имена, организации, адреса, даты
3. Presidio + spaCy (ru_core_news_lg) - имена, банковские карты, ИНН, СНИЛС, паспорт, IP-адреса, даты
4. Локальная LLM - имена, даты

В качестве локальной LLM при такое подходе хорошо себя показала qwen3.5-9b.

Все изменения уже на GitHub.

@Konstantin1C
  • 👍 6
  • 🔥 2
More from @konstantin1c
  1. Sep 20, 2026КАК 700 ИИ-АГЕНТОВ ОБЪЕДИНИЛИСЬ... И ВЗЛОМАЛИ HUGGING FACE Возможно вы уже читали про этот…
  2. Jul 5, 2026Всем привет! Сегодня в 17:00 по Мск покажу как скачать и запустить на своем компьютере ано…
  3. Jun 28, 2026Post #109
  4. Jun 15, 2026КАК Я НАУЧИЛ СВОЙ НОУТ ХРАНИТЬ СЕКРЕТЫ В прошлом году я рассказывал о том, как делал ИИ-бо…
  5. Jan 8, 2026Заезжаем в Новый год! Салаты съедены, фильмы про Шурика пересмотрены, план на год написан.…
  6. Dec 30, 2025Ну что ж, в июне я сам себе устроил челлендж - прочитать 7 книг до конца года. Настало вре…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →