gptscience 🤖

#GPTEli5 Обучение роботов 🤖

🧠 Language-Image Value learning (LIV) - метод, который сочетает в себе обучение с подкреплением и контрастным обучением для модели, которая понимает как язык, так и информацию об изображении / видео для роботов.

🤓 Mutual Information Contrasive Learning (контрастное обучение) - метод, который обучает модель находить полезную информацию из разных источников (например, языка и изображения) путем максимизации взаимной информации между ними.

👨‍💻 Reinforcment learning (обучение с подкреплением) - обучение модели принимать решения на основе проб и ошибок, где она получает вознаграждения за правильные действия.

#GPTApplication LIV: Языковая ценность изображения для роботов 🤖

🤓 В статье Language-Image Value Learning представлен новый подход, который сочетает в себе reinforcement learning и mutual information constractive learning для обучения роботов зрительно-языковому представлению с использованием системы вознаграждений.

Основные выводы из статьи:

🗂 Можно использовать большие наборы видеоданных для обучения моделей. Затем модель самостоятельно может назначать вознаграждения (поощрение за правильные действия модели) отдельным кадрам в видео, где могут быть представлены роботы или люди, выполняющие определенные задачи в новых условиях.

🧠 LIV можно зафайнтюнить за счет точной настройки с использованием данных, специфичных для предметной области, что позволит лучше управлять роботами.

👨‍💻 К примеру, робота из видео, готовящего сочный 🍔, тренировали на датасете EpicKitchen

Мы уже рассматривали Tennis AI как пример обучения моделей на специфических данных, теперь доступно на роботах 🤖

#GPTApplication Насколько быстро развиваются диффузионные модели? Настолько быстро! 🤖

К примеру, Вы можете оценить качество сгенерированных изображений на моем втором канале @gptwomen
В основном это 🔞

#GPTNews Apple Vision Pro 😎

Основное:
🏕 Vision Pro управляется вашими глазами, руками и голосом. Выбор осуществляется нажатием пальцев, прокрутка - движением.

👨‍💻 Позволяет смотреть видео, играть в любимые игры для iOS, работать в нескольких приложениях одновременно и общаться с людьми в режиме реального времени.

🔮 Масштабирование и передвижение виртуальных приложений и элементов становятся простыми и интуитивно понятными.

🎭 Для видеозвонков создается реалистичный цифровой аватар пользователя, который позволяет общаться без необходимости надевать устройство на лицо. При этом мимика пользователя сохраняется.

👀 Глаза пользователя видны в режиме дополненной реальности и скрыты в режиме полного погружения.

🚶‍♀️ Устройство автоматически определяет, когда к пользователю подходит другой человек, и отображает его в виртуальной реальности, предупреждая о его присутствии.

💻 Устройство можно легко подключить к Mac по беспроводной связи, и тогда на виртуальном экране появится рабочий стол компьютера.

🎞 Разрешение дисплеев Vision Pro значительно превышает 4K, обеспечивая кристально чистое изображение на виртуальных экранах.

🧠 Гарнитура работает на двух процессорах: M2 и новом чипе R1, обеспечивая плавную и быструю работу.

🔊 В гарнитуре два динамика, создающие эффект звучания из окружающего пространства, а не из устройства.

⌛️ Время работы от батареи достигает двух часов.

🤑 Цена начинается от 3499 долларов (282 тысячи ₽). Старт продаж ожидается в начале 2024 года.

Сами посмотрите!

#GPTStartups Автоматический поиск вакансий по резюме

Ввожу новую рубрику, где мы будем рассматривать свежие стартапы в области AI. Первый из них - проект с новостного канала HN 😎

🤓 Как работает?
hnresumetojobs.com сопоставляет ваше резюме с наиболее подходящими вакансиями из ежемесячного поста HN Who's Hiring.
Алгоритм работает путем использования OpenAI API эмбеддов, а потом ранжирует вакансии с использованием косинусного сходства (можно переключиться между максимальным внутренным произведением MIP или евклидовым расстоянием).

👨‍💻 Надеюсь, что это окажется полезным для всех, кто ищет работу! Ради интереса вставил свое резюме, мне подошли вакансии AI-Engineer Full-Stack и Hardcode frontent hacker 🤖

Попробуйте сами

#GPTNews NVIDIA создает самоулучшающегося автономного агента в Minecraft с использованием GPT-4 👨‍💻

🤓 NVIDIA использовала GPT-4 для создания автономного AI агента, который перемещается по игре Minecraft, исследует мир и изучает сборки в верстаке (к примеру, как скрафтить топор).

🧠 GPT-4 здесь используется как самостоятельный центр принятия решений. Он не только принимает решения, что ему делать в игре, но и создает код для улучшения понимания мира и добавления новых навыков для его прохождения.

😐 А как агент понимает, что происходит в Minecraft?
GPT-4 не обладает видением (но если прикрутить cv, то все возможно 🥳). Все данные подаются в модель через текстовый запрос.

⚙️ Какие преимущества это дает разработчикам ПО и компьютерных игр?
Похоже, что GPT-4 теперь может автономно создавать, тестировать и оптимизировать код. Он решает, что ему нужно сделать, например:
"Создать каменный топор".
Затем он пишет код на JS, чтобы это произошло, проверяет, все ли работает, и затем добавляет код в библиотеку знаний, которую сможет использовать позже.

💡Можно ли это применить к рабочим задачам в реальной жизни?
Вместо действия «Создать топор» можно, к примеру, написать скрипт для «создания <дешборда> на языке <postgre>».
А вместо «убить моба» - «заполнить журнал в Jira».

📽️Видеообзор
📄Статья

#GPTHolidays Bing vs ChatGPT vs Bard vs C. ai vs PornHub 🍓

Вовлеченность по всему миру, победители:

🔞 Среднее кол-во посещений в день - PornHub (86.3 млн.)

👑 Продолжительность посещения - Character.ai (29:47)

👑 Кол-во страниц за посещение - Character.ai (15.4 стр.)

👑 Показатель отказов - Character.ai (19.31%)

#GPTNews IBM создаст квантовый суперкомпьютер на 100 000 кубитов 🤖

🧠 В эпоху, когда ИИ и LLM играют все более важную роль в нашем обществе, IBM амбициозно обещает построить квантовый суперкомпьютер на 100 000 кубитов к 2033 году.

🤓 Кубиты - основа квантовых компьютеров, способные принимать состояния 0 и 1 одновременно для быстрой обработки данных.

🤑 Использование облачного квантового оборудования может быть дорогостоящим. Например, стандартный план Quantinuum обойдется в 125 000$ в месяц, не считая затрат на инфраструктуру Azure для обычных вычислений.

😱 Интересный факт: Для создания 100 000-кубитного суперкомпьютера IBM должна увеличивать количество кубитов на 50% ежегодно в течение 10 лет!

#GPTApplication Новая функция генеративной заливки в бета-версии Adobe Photoshop

Манипуляция изображениями теперь доступна в Adobe Photoshop 🤖

Управление сверхинтеллектом

Сейчас настал подходящий момент задуматься о вопросе управления сверхинтеллектом - будущими системами искусственного интеллекта, значительно превосходящими возможности даже общего искусственного интеллекта (AGI).

https://openai.com/blog/governance-of-superintelligence

#GPTApplication Пройти собеседование с помощью GPT-4 🤖

🤯 Энтузиаст с reddit создал инструмент транскрипции в реальном времени на базе GPT4, который поможет Вам пройти собеседование при приеме на работу, генерируя идеальные ответы в режиме реального времени!

Ссылка на проект: https://github.com/SevaSk/ecoute

Киберпанк, который мы заслужили

#GPTNews Обновление от Tesla: гуманоидные роботы Optimus стали актуальны 🤖

Маск снова заявил, что разработка Optimus крайне недооценена и спрос на гуманоидных роботов может достигать от 10 до 20млрд. единиц. 😰

💲 Стоимость роботов оценивается примерно в 20 000$, и они будут массово производиться в течение 3-5 лет.

🧑‍💻 Тем не менее, эксперты считают, что до эпохи широкого использования гуманоидов вместо человеческого труда еще минимум 10 лет.

CEO OpenAI выступает перед сенатом США:
https://youtu.be/fP5YdyjTfG0

#GPTFired Встречайте будущее: Роботы уже берут заказы в Checkers 🤖

Это очень круто, на самом деле 👏
Гарантированно, что скоро AI превзойдет большинство людей.

👍 Добавим к этому распознавание голоса, лица и номера автомобиля, и AI будет знать, что вы заказывали в последний раз в любом Checkers по всему миру, и предложит вам без лишних слов повторить ваш предыдущий заказ, выводя его на дисплее.

😰 AI будет знать, предпочитаете ли вы свои бургеры с огурцами и горчицей или без. Это значительно сократит время, которое вы тратите на процесс заказа еды.

Земля глазами ИИ 🌳#EncounterEarth

В этом сгенерированном фильме для исследования скрытых аспектов нашего природного мира используется всеми известный GEN-2.

😰 Я был впечатлен уровнем детализации и глубины исследования, которые уже предлагает GEN-2.

Наслаждайтесь просмотром 🏕

#GPTApplications Добро пожаловать в AI будущее 🟥

Ничего необычного, просто сгенерированная поездка на машине 🤯
Тред с reddit

#GPTNews Google I/O 2023 🤖

🟦 Gmail получит обновление с встроенной LLM (Large Language Model) для автоматического создания черновиков ответов на письма. Это будет работать подобно функционалу ChatGPT, доступного через плагин.

🟩 Google Maps планирует обновить свою функцию Immersive view. Она будет представлять визуализацию маршрута в 3D, напоминающую игру SimCity, и будет использовать реальные сканированные данные.

🟨 Palm 2, о котором мы уже говорили в предыдущем посте:
Bard от Google теперь также базируется на Palm 2 и обновлен плагинами, аналогичными ChatGPT.

🟥 Google изменит свою функцию поиска таким образом, что первый результат поиска будет стараться отвечать на поставленный вопрос в стиле ChatGPT.

Забавный факт: на презентации Google IO слово «AI» было произнесено 149 раз 👌

#GPTNews Недооцененный PALM-2 от Google? 🤨

😳 Многие люди недооценивают PALM-2, не понимая его реальной ценности.

И хотя PALM-2 содержит намного меньше параметров (около 100-300 млрд, вместо 560 млрд. у предыдущей модели), она уже превосходит ChatGPT-3.5 и приближается к GPT-4. Однако стоит учесть, что PALM-2 ~ в 10 раз меньше, чем GPT-4 (>1млрд. параметров 🤯).

🧐 Но несмотря на это, обширный потенциал PaLM 2 открывает новые возможности в самых разных областях:

1️⃣ В игровой индустрии: Модели PaLM-S и M могут быть внедрены для использования на локальных устройствах, что особенно ценно для разработчиков игр. Возможно использование модели PaLM2-S, специально обученной на ролевых играх, что может сократить время ожидания ответа до мгновенного, в отличие от существующей задержки в 8 секунд у модели GPT-4.

2️⃣ В сфере здравоохранения: Med-PALM 2 может стать мощным инструментом для анализа клинических данных, предложения диагнозов и даже определения потенциальных методов лечения.

3️⃣ В образовании: PaLM 2 может стать незаменимым помощником для учащихся всех уровней, предоставляя подробные и точные ответы на сложные вопросы и помогая освоить новые темы. Благодаря своей способности адаптироваться к разным уровням сложности, модель может стать полезной для студентов различных возрастов и уровней подготовки.

4️⃣ В области ИИ и робототехники: с помощью PaLM 2 можно усовершенствовать взаимодействие людей с роботами и другими устройствами AI. Это включает управление автоматизированными домашними системами, взаимодействие с роботизированными помощниками или использование AI для управления сложными системами.

5️⃣ В международной коммуникации и дипломатии: PaLM 2 может значительно улучшить качество межкультурного общения благодаря своим продвинутым многоязычным переводческим способностям и пониманию сложных текстов. Это может способствовать улучшению точности перевода официальных документов и общения между различными странами и культурами.