8. GenAI/LLM

- Это тоже пока перераспределение value

- Есть 3 вида AI:
1. Super retrieval
2. RL
3. Physical world

- GenAI это тип 1 - retrieval/извлечение. Раньше гугл делал, а LLM стали делать это стыкуя фразы и параграфы между собой, поэтому ощущение магии

- LLM весят 4-32 гб (Deepseek). Сжатие данных в веса нейронок из сотен терабайт датасетов, e.g. Fb заюзал 80Tb книг и научных журналов с торрентов (судебный иск.). Картинки и видео - тоже тыринг чужого

- Мы во 2-ой великой приватизации данных бигтехами (1-ая была с просто customer data в инетах)? И в попытке замочить копирайты?

- Нейронки - это как архиватор, просто с сильной потерей качества. Подвид алгоритма компрессии. Плата за это - оч большой compute (и сжать, и разжать) по сравнению с losless и с компрессией с потерей качества, где КПД меньше

- Сжатие идет через адскую декомпозицию на фичи объектов, которые наш мозг воспринимает как сложные и осмысленные (e.g. текст ответа, e.g. визуальные образы)