Давайте чуть-чуть лингвистики

Пару месяцев назад я за час навайбкодил себе бота для перевода слов с инглиша на русский

Супер легкий бот, который делает максимально простую вещь — просто переводит. Зачем я его сделал? Яндекс переводчик очень плохо работает, вылетает и тормозит с впн'ом, меня это бесило 🤔

Тем не менее, я дал своему боту еще одну прикольную фичу — для каждого слова он определяет его частотность по Zipf Scale. Это что еще за зверь? Приготовьтесь, я к вам снова с аналитикой 🧑‍🍳

Джордж Ципф, лингвист из Гарварда еще сто лет назад увидел интересную закономерность: частота слова оказывается обратно пропорциональна его рангу. Второе слово используется в два раза реже первого, а третье в три раза реже и так далее. В английском «the» занимает ~5–7% всего текста, дальше идёт крутой обвал и очень длинный хвост 😳

Объяснял он эту закономерность обычной ленью — ведь это компромисс между ленью говорящего (хочется одно слово на все случаи) и ленью слушающего (хочется отдельное слово на каждый случай). Равновесие этих двух сил, мол, и дает степенное распределение 😶

А совсем недавно, в 2014 лингвисты вывели Zipf Scale, где по формуле определяют, сколько раз слово появляется в 1,000 рандомных слов, в 10,000 рандомных слов, в 100,000 рандомных слов и тд. Здесь такая же ранговая логика, только завернутая в логарифм.

Эта фича помогает мне забивать на очень редкие слова и запоминать частотные слова, которых я не знал 👊

Все это дело я потом закидываю в приложуху, где создаю карточки с английскими словами (я использую Noji, но есть еще бесплатная Anki). С момента создания бота я выучил 175 новых слов, что для моего C1 немало! 😎

Можете тоже попользоваться!
@fellow_dicky_bot