Ранее в этом посте я рассказывала о контекстном окне — о том, на каких этапах можно получить наиболее релевантный ответ с минимальным количеством галлюцинаций.
Если вы загружаете в чат большие документы, переписки, инструкции или результаты исследований, полезно заранее понимать, сколько места они займут в контексте модели.
Объем токенов зависит от выбранного тарифа и модели. Чтобы было проще оценить, какой объём информации можно загрузить в чат, делюсь удобным калькулятором токенов.
И почему до сих пор не во всех чатах предусмотрен индикатор токенов?🤷‍♀️