Заметки LLM-энтузиаста

#openai #news #agents #operator

Что произошло?
Опенаи вчера анонсировали своего первого агента под названием Operator.

Зачем это нужно?
Оператор - это что-то вроде виртуального ИИ-консъержа, может решать задачи по планированию поездки, бронированию номеров в гостинице, столика в ресторане, покупке продуктов по рукописному списку и т.д.

Как работает?
Все это он делает через закрытую "песочницу" с браузером, в котором вводит необходимые команды поиска и работает с выбранными при постановке задаче инструментами. То есть, даже если у выбранного сайта (например, по заказу продуктов) нет API-интерфейса, он просто воспользуется им как обычный пользователь и решит поставленную задачу.
Подробнее здесь: https://help.openai.com/en/articles/10421097-operator

Как потестировать?
Оператор доступен по ссылке https://operator.chatgpt.com/
Сейчас 2 условия для доступа:
- регион USA (поэтому VPN нужно подобрать соответствующий)
- подписка ChatGPT Pro. Это более существенное ограничение, т.к. стоит $200 в месяц (https://chatgpt.com/#pricing)

Планы на будущее?
В анонсе говорят, что планируют:
- расширять линейку инструментов Оператора
- добавлять новых агентов
- расширять список регионов, в которых доступен Оператор
- через какое-то время сделать Оператора доступным для тех, у кого подписка ChatGPT Plus (за $20 в месяц)

Есть ли что-то похожее?
Да. Опенаи не первые, кто делает агентов, использующих веб-браузер для решения поставленных задач.

#ui #web #ux #examples #ai #dev

Недавно я наткнулся на новый бесплатный ресурс, который, на мой взгляд, очень ценен!

https://21st.dev/

Он содержит более 730 готовых к работе компонентов пользовательского интерфейса от более чем 50 ведущих инженеров-проектировщиков.
Можно бесплатно брать и использовать все, что хочешь.
Запущен 9 января 2025 года - очень свежий!

Здесь оригинальный анонс

Что очень круто он уже оптимизирован для популярных ИИ-редакторов программного кода, таких как
- lovable.dev
- bolt.new
- v0.dev от vercel
с индивидуальными подсказками для легкой интеграции

Алгоритм работы с ним очень прост:
1) Выбирается понравившийся компонент интерфейса
2) Копируется информация о том, как его установить и промпт для выбранного ИИ-помощника
3) Затем повторяем компонент в своем коде
см. скришоты

#cursor #ai #programming #dashboard

Закончился наш курс по AI-программированию

Я свел весь набор проектов, который мы сделали и подробно разобрали на курсе, на одну страничку (везде есть ссылки на исходный код)

Кому интересно - исходники этого дашборда здесь

#новыйгод

Один из моих коллег написал телеграмм бота для генерации новогодних открыток при помощи YandexART 2.0

Исходники здесь https://github.com/shwars/yartbot

С Наступающим Новым Годом!

Коллеги записали видео-ролик как пользоваться AI-флористом :)

#ai #florist #app

Приложение "AI-флорист" на базе YandexGPT/YandexART, которое генерирует букеты для разных людей и под разные события

Пример работы приложения на скриншоте.

Все изображения букетов можно скачать.
Промпты для генерации букетов можно редактировать.

Приложение хорошо работает как на ПК, так и на мобильных устройствах.
Но требует ввести креды, для YandexGPT/YandexART

Добавил данное приложение в библиотеку публичных приложений для тестирования YandexGPT/YandexART

Код приложения в открытом доступе здесь

#info #lidar

Вот примерно так нас видят роботы-доставщики Яндекса :)

#yandexart #new

Сморите какие няшные картинки стал генерировать новый yandexART!

И что еще круто - с правильными надписями на английском языке!

Теперь можно делать шикарные открытки с поздравлениями в одном промпте :)

Вот, кстати, промпт под данную генерацию

Подарочная открытка с изображением корги в стиле Pixar на лаймовом фоне, держит в лапках букет цветов.
Вставь текст "Happy Birthday!"

Я использовал библиотеку промптов YandexART

#yandexgpt #obsidian #plugins

Чуть более подробная информация

Obsidian Text Generator (помощник в составлении заметок)
- работает с yandexgpt при использовании api-транслятора "из коробки"
- не требует изменения кода плагина
- берется из community plugin
- исправляются параметры плагина в самом Obsidian (api-ключ, api-endpoint, название модели)
- в Advanced настройках надо включить CORS bypass
- как пользоваться https://www.youtube.com/watch?v=OergqWCdFKc
- позволяет генерировать текст с разными промптами прямо в заметках

Obsidian Сopilot (ИИ-секретарь по заметкам)
- работает с yandexgpt при использовании api-транслятора "из коробки"
- не требует изменения кода плагина
- берется из community plugin
- исправляются параметры плагина в самом Obsidian (api-ключ, api-endpoint, название модели для LLM и embeddings)
- в настройках надо включить CORS bypass
- позволяет отвечать на вопросы по заметкам в режиме чата. На данный момент можно выбрать заметку, по которой хотелось бы получить ответы и пообщаться с ИИ-секретарем.

#yandexgpt #obsidian #plugins

Теперь можно использовать yandexgpt при работе со своими заметками в Obsidian при помощи следующих AI-плагинов:

- Text Generator
- Сopilot
- Copilot Auto Completion

Записал короткий ролик (3 мин) с одним из сценариев
https://ooo.mmhmm.app/watch/z_cK9h88fzj3RpkQ8EVWqz

Все это возможно благодаря openai-to-yandexgpt api-транслятору, который можно скачать и запустить по ссылке

Теперь практически любые приложения, которые допускают настройку LLM в виде openai api совместимого end point, можно использовать совместно с yandexgpt

Channel photo updated

#yandexgpt #apps #library

Сделал публичную версию небольшой библиотеки LLM-приложений на базе yandexGPT

Для "коробочных" демонстрационных приложений вводить "креды" для доступа к приложению не нужно - работает на моих.
Для остальных приложений - нужно использовать свои "креды": folder-id и yandexGPT api-key
Как и откуда их взять - описал здесь

#y23w31d5 #ai #news

5 ключевых выводов из отчета McKinsey "Состояние ИИ в 2023 году":

1. Ожидаемые перебои в работе бизнеса значительны.
"Респонденты прогнозируют значительные изменения в своих трудовых коллективах. Они ожидают сокращения штата в некоторых областях и значительных усилий по переквалификации для удовлетворения меняющихся потребностей в талантах".

2. Наиболее распространенные варианты использования - маркетинг и продажи, разработка продуктов и услуг, а также сервисные операции.

3. Отрасли, в которых в наибольшей степени используется работа, основанная на знаниях, скорее всего, испытают наибольшие потрясения.
"Значительное влияние может быть оказано на такие отрасли, основанные на знаниях, как банковское дело (до 5%), фармацевтика и медицинская продукция (также до 5%) и образование (до 4%)".

4. Неточности, кибербезопасность и нарушение прав интеллектуальной собственности - самые большие риски

5. Операции машинного обучения, вероятно, будут играть большую роль в будущем.
"Специалисты, добившиеся высоких результатов в области ИИ, чаще всего указывают на модели и инструменты, такие как мониторинг производительности моделей в производстве и переобучение моделей по мере необходимости с течением времени, как на свою главную задачу".

Полный текст отчета здесь: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2023-generative-ais-breakout-year

#y23w31 #ai #news

Главные Tech и AI-новости за неделю

1. OpenAI подали заявку на патент GPT-5. Там будет встроенный синтез и распознавание речи и многое другое (ссылка)

2. Сергей Брин возвращается в Google для работы над AI-системой Gemini (ссылка)

3. ИИ в метро Нью-Йорка. Ловит безбилетников и нарушителей (ссылка)

4. Минобороны США финансирует исследования по объединению клеток человеческого мозга с ИИ. (ссылка)

5. Benesse предлагает AI-сервис для помощи детям в исследовательских проектах (ссылка)

6. Bing Chat теперь доступен в браузерах Chrome и Safari (ссылка)

7. ИИ-персонажи в видеоиграх. Replica Studios предлагает голосовых актеров на основе искусственного интеллекта для игр, фильмов и анимации (ссылка)

8. CEO OpenAI Сэм Альтман запускает Worldcoin: смелый крипто-эксперимент на стыке ИИ, идентификации и блокчейна. Криптоэнтузиасты, не расходимся! (ссылка)

9. Первый ИИ в качестве генерального директора в Европе (ссылка)

10. Япония в гонке AI: делают новый суперкомпьютер (ссылка)

11. Netflix ставит на AI, в то время как сценаристы бастуют против искусственного интеллекта (ссылка)

12. Stability AI представляет SDXL 1.0, лучшую открытую модель для генерации изображений
(ссылка)

13. Тепловая визуализация на базе ИИ обеспечивает дневную видимость ночью
(ссылка)

14. ChatGPT разрабатывает новый микрочип всего за 100 минут
(ссылка)

15. LinkedIn тестирует новый инструмент искусственного интеллекта под названием LinkedIn Coach, предназначенный для упрощения поиска работы (ссылка)

16. Университеты говорят, что ИИ невозможно победить, отказываясь от попыток заблокировать ИИ (ссылка)

17. Hugging Face, GitHub и другие объединяются для защиты открытого исходного кода в законодательстве ЕС об искусственном интеллекте (ссылка)

18. Stack Overflow, крупнейший в мире веб-сайт вопросов и ответов для программистов, объявил о «будущем Stack Overflow» — OverflowAI. Если помните, их посещаемость стала сильно проседать после появления ChatGPT. (ссылка) - внедрили LLM разработку в свой сайт

Новости предоставлены порталом https://tweekly.ru/

#langchain #llama2 #news

Вышел релиз LLaMA-2 с окном контекста 32k
https://together.ai/blog/llama-2-7b-32k
"Fine-tune the model for targeted, long-context tasks—such as multi-document understanding, summarization, and QA"
"Тонкая настройка модели для решения целевых задач с длинным контекстом, таких как работа с многодокументными текстами, обобщение и QA".
Похоже именно эта LLM модель сейчас самый лучший opensource вариант для решения задачи осмысленной работы с документами произвольной длины

1) Классный поисковик с рейтингами по плагинам GPT-4 https://plugin.surf

2) OpenAI выпустил руководство о том, как использовать свои модели GPT-4 и Whisper для расшифровки и обобщения протоколов совещаний. Meeting minutes - OpenAI API
https://platform.openai.com/docs/tutorials/meeting-minutes

Новость N2.

#langchain #langsmith #news

Компания Langchain выпустила LangSmith - платформу для отладки, тестирования и мониторинга LLM-приложений в промышленных инсталляциях

Этот шаг стал быстрым ответом на основные жалобы разработчиков, в том числе:
* Понимание того, что именно представляет собой финальный запрос на вызов LLM (после всего форматирования шаблона запроса этот финальный запрос может быть длинным и запутанным)
* Понимание того, что именно возвращается из вызова LLM на каждом шаге (до пост-обработки или какого-либо преобразования)
* Понимание точной последовательности обращений к LLM (или другим ресурсам), а также того, как они связаны между собой
* Отслеживание использования токенов
* Управление затратами
* Отслеживание (и отладка) задержек
* Отсутствие хорошего набора данных для оценки приложения
* Отсутствие хороших метрик для оценки приложения
* Понимание того, как пользователи взаимодействуют с продуктом.

Подробнее можно прочитать здесь: https://blog.langchain.dev/announcing-langsmith/

Всем привет! Первый пост на этом канале. И сразу ДВЕ отличные новости.

Новость N1.

#meta #llama2 #news
Компания Meta только что выпустила достойного конкурента ChatGPT с открытым исходным кодом, который защищает конфиденциальность данных пользователей

Речь идет об LLM модели Llama 2.

Вот некоторые из ее отличительных характеристик:
- Доступна для коммерческого использования
- Предварительно обучена на 2Т токенов
- Сильные оценки MMLU (т.е. сильная аргументация)
- 4K контекстное окно
- Близка к GPT-3.5 по производительности решения задач, которые требуют рассуждений

Полезные ссылки для дальнейшего изучения:
веб-сайт: https://ai.meta.com/llama/
huggingface: https://lnkd.in/dZ58EWVy

Channel created