Коты не умеют писать код, у них лапки — это предложение ИИ видит не как слова, а как 13 странных кусков: К+оты+не+уме+ют+писать+код и так далее. Знаки препинания и пробелы — тоже токены.

Разобрались, почему нейросеть режет текст именно так, почему русский язык дороже английского, и что происходит, когда забивается контекстное окно.

Полезно всем, кто хоть раз получал от ИИ обрубленный ответ или весь дневной лимит уходил за 30 минут.

https://v.thecode.media/h4io5

Журнал «Код» | Промокод Практикума | Новости мира IT и технологий