Слова - это то, что мы обычно используем, когда говорим или пишем (ваш капитан). Например, в предложении "Мне нравятся кошки" - три слова
Токены - это немного сложнее:
Они используются машинами для обработки языка, токен может быть словом, частью слова или даже знаком препинания. Компьютеры разбивают текст на токены, чтобы лучше его понимать и работать с ним (и это эффективнее и быстрее чем работать с целыми словами)
Есть разные способы разделить текст на токены, и их называют токенизаторами и разные токенизаторы работают по-разному, в зависимости от того, для чего они нужны
В среднем, на один токен приходится примерно 0,75 слова, или другими словами, на каждые четыре токена приходится примерно три слова. Опять же, это может меняться в зависимости от того, какой токенизатор используется – вот пример такого от OpenAI, им я считаю себестоимость исходящих запросов для их моделей
Если совсем наглядно, то вот как текст этого поста видит «языковая модель»:
👨🏿❤💋👨🏻🧑🏼🦽➡️🙋🏻♀️🧗🏼♀️🥖👩🏽🚒🫱😈🦸🏾♂️🍏👩🏾🦳👱🏾♂️🧑🦽👩🏾🧑🏾🦼➡️
😈👩🏿🦯💃🏾🧙🏽♀️🤝🏾💌↕️🧝🏿♀️🛞🫱🧑🏾🦼➡️🧙🏽🙅♀️🗣😶
👨🏻🦲☺️🍱👩🏼🤝👨🏾🧑🏼🦽➡️🧝🏿♀️🔣🫱💆🏽♀️🌶☺️🧑🏽⚖️🇹🇯🍧〰️
🤵♂️🧑🏼🦽➡️🖊🚶🏼♂️➡️🏃🏿♀️➡️📕🔃🏊🚶🏻♀️➡️🧑🏼🦽➡️🧝🏿♀️💑🏾🔶🤣🫁
🏃🏽♂️➡️👩🏽⚖️🫱♀️☺️🇳🇫🇰🇾🏄🏾♂️🧑🏼🦽➡️🧝🏿♀️🕵🏼♀️🗜🧑🏻🎓✋🏼🧑🏿
💆🏽♀️📮👔🇲🇫🧑🏾🦼➡️🏋🏿🧑🏼🦽➡️👨🏾🦯➡️🧑🏼🦽➡️🏾📏🪱⏳🧑🍼👨🏾🦲
🪱🧖♂️🗣🚶🏿♂️🧑🦽👱🏾♂️🇼🇸🧙🏽♀️☪️👩🏾🧑🏼🦽➡️🏌️🧖♂️💇🏼♂️👩❤️👨
👱🏾♂️🌶👩🦽➡️🧑🏻🎓🖲👨⚖️👭🏾🙋🏻♀️🚶🏿♂️👩🏾🧑🏼🦽➡️🏌️🕵🏿♀️🧑🏼🦽➡️😕
🧑🏾🦼➡️🤵♂️🤫🧑🏼🦽➡️🏾📏🏌️♂️✋🏼🧑🏻🎓🗜🧑🏾🦼➡️🤵♀️🚶🏿♂️➡️🇫🇷🧑🏼🏫
🚶🏿♂️🈴🔶🧵🥘🫁🙅♀️🗜🧚🏻♀️🙇♂️🌭🤵♀️👩🏻🦲🫷👩🏻❤💋👨🏾
🇳🇨👁🗨👩🏻🦲👩🏾🦳🤸🏾♂️🧑🏾🦼➡️🚶🏻♀️➡️🧑🏼🦽➡️🧝🏿♀️🧚🏿♂️👩🏽🔧🇦🇫👦🏾👩🏿🎓👨🏾🦯➡️
⏳🪮👨🍼📮🧑🏻🦳🙅♀️🇼🇸👨🏾🦱🧑🏼🦽➡️🏌️📕🙍🏽♀️☪️👩🏾🖖🏾
🧔🏽♀️🔃🏊🧑🏼🦽➡️🏌️🕵🏿♀️⏳🗜🧑🏻⚖️🙇🏿♂️🙎🏻♀️👩🏿🦯🏄🏼🧎♀️♋️
🇲🇫✋🏼🧑🏿💆🏽♀️📮🤲🏿🌭🧑🦼➡️🕴🏾👩🏾❤👨🏾🏃🏿♂️➡️📆🇼🇸🏃🏽♂️➡️👩🏽⚖️
🫱🌫🧑🏾🦼➡️📕🔃🥖🧛🏽♀️🇷🇪☪️👨👩👦🧑🏾🦼➡️🧖♂️👩🏾👨🏽🌾🇨🇱
☪️👩🏾🧵🇵🇾👩🦽➡️🧙🏽♀️👆🏻👩🏿🦯🤽🏻♂️👨👩👦👱♀️🧎🏾♀️➡️🧑🦼➡️🚣🏿♀️🙍♀️
💌👨👩👦🧝🏿♀️👷♀️🪤🫱🔓👐🏻🥔👩🏾💇🏽♂️⏰👩🏿❤👩🏻🧑🏼🦽➡️💆🏽♀️
🔃🏊🧑🏾🦼➡️🇻🇺👩🏾🦯➡️🦹🏼♂️⬆️🖲🥘💑🏾🔶〰️🏄🏾♂️🧑🏼🦽➡️📆
〰️👩🏼🤝👨🏾🧑🏼🦽➡️👩🏿🦯🔶🧚🏻♀️🫁🧑🏼🦽➡️🧚🏻♂️😕🪖👮🏻♂️👮🏻♂️🤽🏿♀️🧑🏽🤝🧑🏼
👩🏿🦯🏄🏼🏄🏾♂️🧑🏼🦽➡️👐🏻🫱🤎🏄🏼🧖♂️🗜🚶🏽♂️〰️👩🏼🤝👨🏾🧑🏼🦽➡️🗞
🗣🫱🧑🏽🎓☪️🕴🏾👳♂️🍺👨🏽🌾🔓🪱🏋🏾♀️🏃🏾➡️🏾🔓🧑🏾❤💋🧑🏿
🏳️⏰👩🏿❤👩🏻🧑🏼🦽➡️💆🏽♀️🔃🏊🧑🏾🦼➡️🏄🏾♂️🧑🏼🦽➡️👩🏾🦯🧑🏼🦽➡️👩🏿🦯👩🏻🤝👩🏼🧑🏻❤💋🧑🏼
👩🏾💇🏽♂️📕🔃🧑🏽⚕️👩🏽⚖️🇨🇦🕴🏾🏄🏾♂️🧑🏼🦽➡️🧖🏾♀️🪱📕🔃🧑🏽⚕️
👩🏽⚖️🇨🇦🫱🚶🏽♂️👩🏾💇🏽♂️☺️🍏🧖🏾♀️👩🏿🦯🕓🧑🏾🦼➡️🚶🏻♀️➡️🧑🏼🦽➡️👩🏽⚖️
🧑🏽🤝🧑🏽🏖🔶🧎🏿➡️🇹🇱🧑🏼🦽➡️💆🏽♀️💇🏿♀️🧑🏾🦼➡️👩🏾❤👨🏾🧖♂️💇🏾👔🇲🇫🇬🇹
👩🏿🦱🖖🏾🎅🏼🧑🏼🦽➡️🛸🧚🏿♂️👩🏿🦯🗜🧑🏾🦼➡️👩🏿❤👩🏻🧑🏼🦽➡️🧚♀️🧑🦼➡️📕🔃
🥖🧔🏼🪥❎👱♀️🤸🏾♂️🏌️♂️🧑🏽❤🧑🏾✌🏿🧑🏾🦼➡️👩🏿❤💋👨🏻🧑🏼🦽➡️🧗🏻♀️🚶🏿♂️👩🏾
🧑🏾🦼➡️🧵🔔🔶🫁☪️🕴🏾🧑🏾🦼➡️👩🏿❤👩🏻🧑🏼🦽➡️🌶🏳️🌈💂🧖♂️🚶🏾♀️➡️
🫱👩🏾🦳🧙🏽♀️📕🔃📚🧔🏼🪥❎👱♀️🤸🏾♂️🏌️♂️📕🙍🏽♀️☪️
👩🏾🙍♀️👩🏻❤💋👩🏾🧝🏿♀️🤸🏼♀️🧑🏼🦽➡️🖊🧑🏾🦼➡️🕵🏿♀️🧛🏽♀️🤵🏼♀️🤸🏼♀️📮🚶🏻♀️➡️🧑🏼🦽➡️
👩🏽⚖️🧑🏽🤝🧑🏽🏖🔶🧎🏿➡️🇹🇱🧑🏼🦽➡️💆🏽♀️💇🏿♀️🧑🏾🦼➡️🇪🇷☺️📕🔃🧑🏽⚕️
👩🏽⚖️🇨🇦✋🏼🧑🏻🎓🧗🏾♂️🧑🏼🦽➡️🏌️🚶🏻♀️➡️👮🏾👱♀️🤸🏾♂️🚶🏼♂️➡️💇🏿♀️🇹🇱🧑🏼🦽➡️
🧑🏾🦯🖲🧑🏾🦼➡️🧑🏼❤💋🧑🏾🧑🏼🦽➡️🤝🏾🧑🏼🦽➡️🛸🧍🏿👩🏾🇨🇱👩🏼🤝👨🏾🤾🏻♀️🏎👯
🔶🙇🏻♂️🏄🏾♂️🛸🪥🤝🏾♑️👩🏾🦯🌱🚶🏿♂️👩🏾❤👨🏾🏄🏾♂️👨🏾🏫🧑🏼🦽➡️🚶🏽♀️➡️
🧚♀️🗣🎗🖖🏾🍺🤙🏻👩🏼🤝👨🏾🚶🏿♂️🛸🗜⏳🧑🏾🦯➡️🧑🏻🦯➡️👩🏽🚒🏌️♂️
🧑🏾🦼➡️🪪🧑🏼🦽➡️🙇♂️👮🏾🇪🇷⏰💆♂️💇🏿♀️☺️🍱👩🏾👦🏾🙇♂️👨🏽❤👨🏽
🫷👨🏾🦱🏃🏽♂️➡️👩🏽⚖️🫱♀️👨🦽➡️🇳🇫👨🏾🦽➡️🤾♀️