🤖 Чому ШІ має стати надійним модулем для програм замість чат-бота

👤 Діоґо Алмейда – співзасновник і CEO TypeSafe (платформа машино-орієнтованих ШІ-моделей для софту)
🎤 Свенг (Алекс Ванг) – автор подкасту Latent Space (технічний бюлетень і подкаст про ШІ-інженерію)

📺 Latent Space – 👥 183 тис. підписників
⏱ 2 год 22 хв
🗓 22.09.26 (1 день тому)
👁 81 тис.

📝 Діоґо Алмейда пояснює логіку моделі Jev та платформи TypeSafe: як замінити чат-боти надійними машинними примітивами (Choice, Score, Noul), чому публічні бенчмарки шкодять моделям і чому ШІ має стати структурованою інфраструктурою під капотом звичайного софту.

━━━━━━━━━━━━━━━

💡 ГОЛОВНІ ТЕЗИ

1️⃣ Jev оптимізовано під вартість інтелекту, а не під чат
TypeSafe створили модель першого типу (System 1) для прямого споживання кодом. Її мета – максимізувати співвідношення інтелекту до долара без зайвого оверхеду генерації тексту.

2️⃣ RLHF ламає калібрування і створює фальшиву впевненість
Навчання з підкріпленням через людський фідбек (RLHF) змушує моделі підлаштовуватися під очікування користувача й уникати відповідей. TypeSafe натомість фокусується на RLCD (навчання під програмний контекст), щоб модель була стабільною детермінованою залежністю.

3️⃣ Публічні бенчмарки шкодять довгостроковій надійності моделей
Лабораторії оптимізують моделі під конкретні тести (як MMLU), що веде до перенавчання (overfitting). TypeSafe принципово відмовляється від публічного бенчмаркінгу заради збереження внутрішньої стійкості (robustness) у реальних пайплайнах.

4️⃣ Три базові примітиви API: Choice, Score та Noul
Замість довільного тексту API повертає суворі типи: Choice (вибір гілки для enum/switch), Score (оцінка для фільтрації та сортування) та Noul (ймовірність від 0 до 1 за логікою Бернуллі для if-блоків).

5️⃣ Пакетні паралельні запити критично здешевлюють виконання
Розробникам радять передавати контекст (state) один раз і ставити до нього десятки запитань з різними ID паралельно. Це позбавляє від повторного прогону одного й того самого масиву даних.

6️⃣ KV-кеш утримує інженерів від правильної архітектури коду
Прив'язка до дешевого KV-кешу змушує писати монолітні незграбні промпти замість декомпозиції задач на під-агенти. Здешевлення інференсу дасть змогу створювати чистий модульний софт.

💬 «Як ШІ може розв'язувати проблеми тисячоліття з математики, але ми досі не можемо автоматизувати найбільш базову рутинну роботу?»

🎯 ЩО З ЦИМ РОБИТИ
Перестаньте проектувати ШІ-пайплайни навколо текстових чатів. Розбивайте задачі на мікро-рішення з чіткими типами даних (вибір, оцінка, ймовірність) і тестуйте кожен крок на відтворюваність.

💵 0.19$

@icereadspodcastsua