Когда мы пишем модели запрос, она сначала режет текст на маленькие кусочки - токены.
Это может быть слово, часть слова, эмодзи или кусок кода.
Например:
cat может быть одним токеном, а продакт менеджмент почти точно разрежется на несколько. В токенах считается контекст модели, стоимость запроса, объем файлов и длина ответа.
Лимит 128к токенов - это общий бюджет: на промпт, историю диалога в контексте, приложенные документы и будущий ответ, а не 128к слов.
#словарикпродакта #token #ai #pm