Минулого тижня Anthropic — це такий конкурент OpenAI — оголосив, що тепер в їх моделі Claude тепер можна запхати контексту на 100 тисяч токенів. Якщо ви не стежите за всією двіжухою, то в GPT4 звичайне обмеження — це 8 тисяч токенів, але є спеціальна варіація на 32 тисячі (вона ще й в два рази більше коштує).

Токен — це така одиниця споживання в ML-моделях, приблизно як склад слова. OpenAI каже, що це десь ¾ англійського слова, для української мови скорше десь ½. Тобто, обмеження в 100 тисяч токенів — це десь 75 тисяч англійських слів.

Це фантастика і об’єктивно прорив — їх багато за останній час, але це напевно найбільша новина з анонсування ChatGPT, імхо.

Вони там приводять в приклад, що замінили один рядочок в книжці “Великий Гетсбі”, і попросили знайти, що вибивається з тексту. І воно спожило 72 тисячі слів і видало відповідь за 22 секунди! 🤯 Ціна зараз на модель з таким контекстом така сама, як на звичайну, тому в instant-версії (швидша і тупіша, як gpt-3.5 типу) такий експеримент коштував би всього порядка 30 центів!

Вже є всякі сервіси типу “поговори із пдфкою”, але вони ділять пдфку на частинки, а потім схожі на запитання частинки віддають в модельку як префікс до запитання. Очевидно, що якість відповідей на більш загальні чи складні запитання не дуже висока виходить, і Клавдія (хтива тітка принца) в цьому випадку буде просто несамовито крута.

Я оце мрію, що хтось працює мож над якоюсь заморозкою стану, щоб можна було засунути книжечку і потім додатково їй питання задавати. Власне всі чати зараз stateless, для генерації нової відповіді в модельку відправляються всі питання і відповіді — сама вона нічого не запам’ятовує. А шкода, дуже хотілося б не парсити Гетсбі для кожного питання наново. :-)