TGViewer
LawCoder LawCoder @law_coder · 1.18K subscribers
Post #243 663
А вот собсна скриншоты.

На них видно, что дедушка токенизаторов GPT3 даже русский текст нормально не воспринимал.

GPT4 уже нормально воспринимал текст на русском, но зашумление текста сработало, видно по кракозябрам.

А вот GPT4o уже и зашумленный текст нормально токенизировал, но только разбив на очень маленькие токены. Зашумление в данном случае повлияет только на стоимость проверки, т.к. в случае с большим договором будет очень много токенов использовано на входящий контекст модели.

LawCoder
  • 🔥 6
  • 🤔 3
  • ❤ 1
More from @law_coder
  1. Sep 25, 2026Валентин репостнул к себе мой утренний пятничный инсайт и ожидаемо собрал на нём феерическ…
  2. Sep 25, 2026Для тех, кому лень читать длинные посты, главная мысль предыдущего: Если вы юрист и хотите…
  3. Sep 25, 2026Пятничный инсайт Если вы не юрист, попробуйте назвать хотя бы одного известного корпоратив…
  4. Sep 18, 2026Когда зашёл прочитать пятничный инсайт, а там два поста и много букв, понимаю вас, коллеги…
  5. Sep 18, 2026Пятничный инсайт Часть 2 У нас уже есть задокументированный случай, когда студент вышел из…
  6. Sep 18, 2026Пятничный инсайт Бесконечно скучно от того, что в сфере ИИ нет движения в сторону западног…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →