Я подписан на
рассылку Дваркеша, который сейчас топ1 подкастер по аи наверное. Так вот он нанимает себе рисерчера в команду, чтобы мол не только задавать вопросы на подкасте, но и отвечать (хз, похоже на понты больше, но тем не менее). 20к баксов призовые конкурса организовал для найма и вывесил вот такие вопросы (перевел чатом гпт с моими правками для лучшего усвоения материала)
1/ Пару лет назад существовала идея, что прогресс в AI может замедлиться по мере все большего упора на RL (обучения с подкреплением). Во-первых, потому что с увеличением длины горизонта задач AI должен выполнять работу на протяжении многих дней, прежде чем мы вообще сможем понять, правильно ли он это сделал, а если мы всё ещё в мире наивного policy gradient, то сигнал вознаграждения на FLOP падает. И уже поскейлили от gpt4 до о3, было бы сложно продолжать в том же темпе. Тем не менее, прогресс AI остаётся быстрым и возможно, даже ускоряется, если верить слухам про Spud или Mythos. В чём дело? Что упустила предыдущая интуиция, которая вела к более длинным таймлайнам? (Можете оспорить саму предпосылку вопроса.)
2/ Какой самый правдоподобный сценарий, при котором компании, создающие foundation models, начнут реально зарабатывать деньги? Если рассматривать каждую отдельную модель как компанию, её прибыль может окупить стоимость обучения. Но если не тренировать сразу более крупную и дорогую модель, доход перестаёт идти уже через 3 месяца. Так когда вообще начинается прибыль?
Возможно, в какой-то момент масштабирование выйдет на плато, но если прогресс на фронтире замедляется, то комбинация дистилляции и низких switching costs (а облачные маржи во многом держатся именно на высоких switching costs) делает open source решениям очень легко догонять лаборатории, съедая их маржу.
Так как же лаборатории в итоге начинают зарабатывать?
3/ После нового раунда финансирования OpenAI с оценкой в $852 млрд, доля OpenAI Foundation теперь стоит $180 млрд. Сооснователи Anthropic пообещали пожертвовать 80% своего состояния.
Но у людей нет чёткого понимания, как продуктивно использовать сотни миллиардов (а скоро триллионы) долларов, чтобы «сделать так, чтобы с AI всё было хорошо».
Если бы вы сейчас возглавляли OpenAI Foundation, что конкретно вы бы делали? И когда?
Недостаточно просто назвать важную причину, нужно объяснить, как именно конвертировать деньги в реальный импакт. Опишите конкретную стратегию.
4/ Что должны делать страны, которые сейчас не участвуют в цепочке производства AI (полупроводники, энергия, фронтирные модели, робототехника), чтобы не оказаться полностью обойдёнными чуваками которые двигают AI?
Ответы можно закинуть
сюда (роль ремоут кстати одобряет, не только сф)
Интересно вам услышать мои ответы? Но писать 1к слов как он просит наверное не буду кек 🙂
