Много постов тут было посвящено тому, насколько o3 крутая модель. Теперь OpenAI выпустили опенсорсную модель примерно того же уровня, которую можно запускать у себя на компе, если есть достаточно мощная видеокарта - gpt-oss
Модели две: большая требует 80GB видеопамяти, маленькая - 16GB
Мы тут с optozorax (вы могли видеть его видео про порталы) играли в угадывание фигур в программе визуализации искривлённых 2D пространств, которую мы сделали, и которую я показывал несколькими постами выше
1. В большинстве случаев пока кажется лучше, чем у OpenAI 2. Нет мягкости и оранжевости, по которой легко можно было узнать GPT 3. Во много раз быстрее 4. Бесплатно
Прикладываю разные картинки по 2 штуки: от OpenAI и от Google. Протестировать можно тут
Как определить темпы развития ИИ-моделей? Самый интересный вариант, что я видел, выглядит так: берем самые разные задачи, которые человек выполняет за компьютером, и смотрим, сколько в среднем у него уходит на это времени.
Время, которое затратят на это нейросети, не так важно, главное - способна ли нейросеть решить эту задачу в принципе. А затем смотрим, задачи какого размера (по затраченному человеком времени) в среднем способны решать нейросети.
Если усреднить все задачи, то получается четкий тренд: размер задач, которые могут решать нейросети, удваивается каждые 7 месяцев, что примерно 3.28 раза в год. Это же справедливо и для кода: размер проектов, в которых хорошо ориентируются нейросети, растет такими же темпами.
Если сейчас нейросети могут стабильно вносить значительные изменения или даже переписывать проекты или части кода, которые писались пару дней, то через 2 года это будут уже проекты на 3 недели, а еще через 2 года - проекты на год. При этом, изменения, вносимые в код за 1 запрос через 2 года смогут превышать день работы. А еще через 2 года - 2 недели за 1 запрос.
Может ли это все в ближайшее время остановиться? Вряд ли. Как минимум, этот тренд резко не оборвется, сначала должно начаться снижение, а его пока не видно. И даже наоборот - в этом году нейросети показывают удвоение не каждые 7 месяцев, а каждые 4 месяца. То есть задачи, которые они могут выполнить, увеличиваются в 8 раз в год. Пока не понятно, является ли это случайным отклонением, или же возможности нейросетей растут с дополнительным ускорением.
Сначала я скептически относился к ускорению, но сейчас оно выглядит все более и более вероятным. Кажется, gpt-5 еще раз это подтвердит. Если ускорение действительно есть, то через год нейросети смогут выполнять большую часть задач, которые люди выполняют за компьютером, а один запрос сможет вносить в код стабильные изменения, на которые у человека ушел бы день (а скорее всего гораздо больше). Если же ускорения нет, то все это все равно будет, но не через год, а через 2, и замедлиться развитие нейросетей за это время вряд ли успеет
В одном из предыдущих постов показывал, как будет выглядеть появление червоточины в 2D-пространстве. Теперь показываю, как выглядит прохождение через нее.
Можно заметить необычный эффект, возникающий в неевклидовых пространствах - голономию. Она заключается в том, что при движении по пространству, помимо самого перемещения, происходит еще и поворот, даже если мы сами не поворачивались. Поэтому ориентация пространства в этом видео постоянно меняется
Наверное все стали забывать, но вот так выглядели реалистичные нейросетевые изображения с несколькими объектами еще 5 лет назад.
Да, один конкретный объект тогда уже неплохо получалось генерировать. А вот к текущему развитию нейросетей привело уже изобретение моделей на основе диффузии только в 2020 году. В то время как первая крупная модель - DALL-E стала доступной только во второй половине 2022 года.
