TGViewer
Data Bar | О data-проектах Data Bar | О data-проектах @data_bar · 2.29K subscribers
Post #93 1.19K
О чём пишут телеграм-каналы и морфологическая нормализация

В каждом авторском телеграм канале - своя тема, своя стилистика, свои обороты, свои слова. Посты в канале - лицо автора. Поэтому придумал концепцию портретов авторов из слов постов их каналов. По словам сразу понятно, о чем пишет автор.

О чём же пишут авторы?
Можно сразу перейти в комментарии и найти портреты в хайрезе:
1️⃣Павел Дуров и канал @durov_russia
2️⃣ Артемий Лебедев и канал @temalebedev
3️⃣ Максим Спиридонов и канал @mspiridonov
4️⃣ Мой портрет и канал @data_bar

Сделал скрипт, который формирует облако слов из всех постов канала. Вкратце:
1. Выгружается json из канала
2. Забирается только текст из постов
3. Из текста убираются стоп-слова (предлоги, наречия и т.п.)
4. Проводится морфологическая нормализация (об этом ниже)
5. Считается частотность каждого слова
6. Строится облако слов по маске. Маска - черно-белое изображение.

Чем больше размер шрифта, тем частотнее слово. Сразу видно наиболее употребляемые слова. Одна картинка 5120x5120 считается и формируется 10 минут.

Делал раньше такое, и написал статью как это работает. В новой версии хотел добавить морфологическую нормализацию LLM. Но, в итоге, использую библиотеку pymorphy2. Пробовал документ отдавать ChatGPT, но он не смог нормально сделать и сам предложил использовать pymorphy2. Эта библиотека справляется в 95%, но всё-таки есть проблемки.

Морфологическая нормализация - это приведение всех существительных к единственному числу в именительном падеже. Прилагательные - единственное число, мужской род. Давно хотел реализовать и думал применить LLM, но получил неплохой результат с pymorphy2. А вот глаголы в совершенной форме к несовершенной приводить получается только при помощи словаря (это другая морфологическая операция).

Маска - это портрет автора канала. Исходный портрет преобразуется в grayscale и сильно выкручивается яркость с контрастностью, потом изображение инвертируется. Cловами заполняются все тёмные участки. По-хорошему, надо допиливать портреты вручную в фотошопе, но я этого не делал.

Получилось прикольно: слова и портрет автора на одной картинке. Ведь в каком-то смысле, слова автора являются его лицом.
  • 🔥 26
  • ❤ 5
  • 👍 2
  • 👎 1
More from @data_bar
  1. Jul 9, 2026AI не готовность - пост о том, как препарируем доменные данные и контекст в Авито Антропик…
  2. Apr 7, 2026Трансформация HR в ближайшем будущем Компания Boston Consulting Group, совместно с World F…
  3. Mar 15, 2026Мировое производство энергии Сегодня около 80% всей первичной энергии в мире производится…
  4. Mar 9, 2026От кассет до стриминга. История музыкальных носителей Музыка объединяет людей. Вокруг неё…
  5. Feb 20, 2026Ищу BI-разработчика к себе в команду HR-аналитики, Авито. Привет всем! В моей команде HR-а…
  6. Feb 19, 2026Telegram Ads и продвижение каналов. Личный опыт. Часть 1 В начале сентября я решил посмотр…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →