Google "We Have No Moat, And Neither Does OpenAI" (from semianalysis.com)

Интересный документ про будущее AI от одного из исследователей в Google, который решил остаться неизвестным (так как заявлено, что это утечка).
Его интересно прочитать целиком, но основные мысли там в том, что
1) Open-source LLM модели развиваются стремительными темпами, обгоняя по скорости развития closed-source модели (например, от OpenAI и Google) и приближаясь по качеству. Суть в том, что коммьюнити может провести больше разнообразных экспериментов и, достигая результатов в одном из направлений, следующие экспериментаторы могут использовать эти достижения (пример с LoRA и "part of what makes LoRA so effective is that - like other forms of fine-tuning - it’s stackable")
2) Качество данных может быть важнее количества параметров в модели, а если модель меньше, то длина итерации в экспериментах меньше и стоимость fine-tuning меньше. Автор говорит про использование "small, highly curated datasets", которые к тому же часто в open source
3) Конкурировать напрямую с open-source движением не стоит, а если не можешь предотвратить, то возглавь. Автор вспоминает про платформы и говорит, что можно поступить как с Chrome или Android, где проекты в open-source и Google выступает как "a thought leader and direction-setter, earning the ability to shape the narrative on ideas that are larger than itself"

P.S.
Отдельно интересно еще почитать статью про сравнение качества моделей, к которой апеллирует автор.

#ML #DataScience #Software