1️⃣10 лет назад (всего 10!) была идея/гипотеза:
- Нейроны человека активируются максимум 100 раз в секунду.
- Человек может решать задачи восприятия за 0.1 секунды.
- Следовательно, нейроны активируются всего 10 раз за это время.
"Всё, что человеческий мозг может сделать/решить за 0.1 секунду, нейронная сеть с 10 слоями также может сделать."
Ну а дальше "просто" скейлим на протяжение 10 лет =)
2️⃣ На графике видим, что закон "скейлинга" судя по всему работает и в биологическом мире. У человека и других человекообразных приматов непропорционально большой мозг, что связано с высоким когнитивным потенциалом.
3️⃣ Спекуляция на будущее от Ильи:
- Не знает когда и как точно мы достигним ASI, но это реально.
- Ещё написал какими свойствами/качествами будет ASI обладать.
Как будто с Understands и Reasons мы уже неплохо так продвинулись за последние годы.