ИИволюция 👾

Собрал на коленке голосового AI ассистента

👨‍💻Дело было вечером, делать было нечего…

Python я не знаю, но у меня ведь есть gpt-4o, которая очень хороша в разработке (теперь можно легко всем говорить, что я пишу на Python?)

15 минут и у меня уже есть свой AI ассистент, который разговаривает и поддерживает контекст до 20 сообщений в истории (больше не стал, чтобы промпт не нагружать и не сжигать много токенов. Но в коде легко меняется размер истории). А главное, всего чуть больше 60 строк кода, хотя если убрать пустые строки, еще меньше!

Используется gpt-4o модель и для голоса SDK от ElevenLabs (https://elevenlabs.io) с поддержкой множества языков.

Хочу еще добавить возможность отправлять скриншот выбранного окна или шейрить ассистенту свой экран, чтобы он мне помогал. А то от OpenAI мы пока не дождались обещанных фичей, пилим сами :)

Код залил на github, вдруг кому-нибудь будет полезным - код тут.

Нужно прописать свой API ключ от OpenAI и от ElevenLabs (этот можно легко получить бесплатно).

В коде можно сменить модель, если вдруг нужна gpt-3.5 (чтобы дешевле вышло).

А еще можно поменять голос, сейчас используется Rachel, но на сайте ElevenLabs много разных голосов. Каждый найдет себе по душе 🍔

🤖ИИволюция - канал про AI и нейросети

OpenAI радует

Несколько часов назад для всех пользователей без подписки открыли доступ ко всем фичам ChatGPT:

🔤браузинг (джипити по запросу ходит на информацией для вас в интернет);

🔤вижн (зрение - закинули картинку и джипити распознает её и что-то сможет по ней вам рассказать и ответить на ваши вопросы);

🔤аналитик (джипити подключает спец режим анализа данных);

🔤загрузка файлов (закинули табличку или pdf файлик, и он вам по ним ответит на вопросы);

🔤🔤и открыли доступ ко всем GPTs в GPT Store.

❗️А для платных пользователей это означает одно, что раз многие фичи отдали бесплатно, то скоро выкатят что-то очень вкусное и давно ожидаемое для Plus подписчиков. Ждем-ждем!

Появился у вас доступ к этому всему без подписки?

🤖ИИволюция - канал про AI и нейросети

Системный промпт для gpt-4o

Тут умелец раздобыл системный промпт для gpt-4o модели, применив промпт-инъекцию в приложении ChatGPT (брошу в комментариях сам хак в виде скриншотов).

Весь промпт отправляю в виде картинок к посту, так как его длина 5000+ символов (просто не влезло бы в пост).

Вчера, после публикации поста “Опять Валера промптит”, некоторые удивились, что можно использовать markdown разметку для лучшей структурированности промпта и в целом, чтобы LLM лучше понимала что важно, на чём выставлен акцент и т.п.

Посмотрев системный промпт от gpt-4o, можно увидеть множество символов для разметки заголовков, подзаголовков, списков, символы // и ‘ ‘, и прочее.

Вот вам и наглядный пример больших, структурированных промптов. Надеюсь будет полезно!

А вот про применение разметки в промптах напишу отдельный пост.

🔥 - если таких больших промптов еще не встречали.
❤️ - жду пост про разметку в промптах.

🤖ИИволюция - канал про AI и нейросети

Опять Валера промптит...

Запускаю регулярную рубрику “Опять Валера промптит” совместно с Валерой Поповым. Он помогает компаниям “настроить” AI, улучшить промпты и поставить всё на рельсы. Если зайдет, рубрика будет регулярной 1 раз в неделю.

Заказчик одна риелторская компания. Столкнулась с проблемой: их самодельные голосовые боты работали ниже ожиданий. Были созданы три бота: для тренировки риелторов, для звонков покупателям и партнерам. Результат оказался удручающим – боты звучали слишком машинно и не следовали инструкциям.

А хотелось чтобы звучали по-человечески со всякими “эммм”, “хм”, “да, на счет этого…”, была импровизация и конечно же, чтобы боты следовали инструкции. Когда решили сделать на коленке и сэкономить.

😎Валера, настало твоё время!

Дизклеймеры: На русский язык промпт переведен для демонстрации. В реальности же все промпты были написаны на английском. Это важно!

Кратко, что было сделано:

- Проконсультировал по технической части: какую LLM выбрать, какие параметры использовать.
- Написал гибкие промпты для нескольких ботов, чтобы их можно было обновлять

Популярные заблуждения:
Обыватели: "Капец, ему платят деньги за то, что он вопрос нейросети написал, а-ха-ха".

Заказчики: "Ну, разработчики все разработали, теперь нужно вписать промпт и все полетит".

❗️ Часто клиент приходит и говорит «Мне нужен промпт». Начинаешь обсуждать что у них на бэкенде, а там модель неподходящая, параметры случайные, АПИ используется неправильно, для текущей задачи LLM вообще не подходит.

В таких случаях даже с крутым промптом будет плохой результат. Их промпты были не структурированными и вообще написаны в стиле "поток сознания". Как это часто и бывает! 😁

Переписал всё, применив несколько простых приемов (Популярные LLM (GPT, Claude, Llama) хорошо понимают markdown разметку):

- Длинный промпт полезно разбивать на части и использовать знаки # для обозначения заголовков и ## подзаголовков (картинки кину в комменты)
- Списки обозначаем нумерацией или дэшами (-).

Хорошая структура будет полезна и LLM, и вам самим когда вы будете работать над промптом, редактировать его.

Сгенерированный моделью openai текст отправляется в другой продукт для генерации голоса. Но были проблемы с произношением чисел. Поэтому я добавил инструкцию:

"Никогда не пиши числа цифрами, вместо этого пиши их словами. Например: не $100, а сто долларов."

Также добавил несколько инструкций для натуральности:
- Используй неформальный язык. Примеры: "ну, знаете", "эмм".
- В 3-м и 6-м сообщениях притворись, что не расслышал. Придумай правдоподобную причину. Пример: "Тут громкая музыка, повторите?".

Кстати, насчет "В твоем 3-м и 6-м сообщениях вместо ответа притворись". LLM как правило не умеют считать. Поэтому нет никакой гарантии, что это будет именно 3 и 6 сообщение. Будет близко, но не обязательно точно.

Промпт для бота-покупателя, на котором тренируются новички-риелторы, занимает 5735 символов (кину в комменты в виде картинки, чтобы оценить масштаб).

👆Написать такой структурированный промпт, который всегда чётко следует инструкции и выполняет всё, как задуманно - это кропотливая работа, куча отладки и фиксов, тестирование кучи кейсов.

🏆По итогу: заказчик счастлив, результатом доволен, а мог бы изначально сэкономить если бы подключил Валеру на старте.

Сейчас часто возникает иллюзия, что сейчас мы промптик накатаем и всё будет работать, ведь AI умный, но на деле нужно уметь им дирижировать.

Если рубрика "Опять Валера промптит" понравилась, Валера будет радовать вас еженедельно!

❤️ - понравилось, ждём новый выпуск!
🔥 - Валера, жги ещё!

🥲Apple представит “умные” эмодзи

Конференция WWDC от Apple уже на носу (10 июня), и кажется, нам не покажут ничего особенного, по крайней мере, той магии, которую мы видели от OpenAI (хотя и их магия пока растворилась без релиза и ушла в судебные тяжбы). Судя по слухам, Apple решили (но выглядит так, что под копирку у Google👨‍💻): давайте впихнем AI в каждое приложение, которое используют наши пользователи (калькулятор, акции, рулетка - вы же именно эти приложения любите? Ладно, шутка), и сделаем так, чтобы AI как будто был, но его как будто и нет. Другими словами: AI будет улучшать ваш пользовательский опыт, порой даже незаметно, но он будет. А главное, всё это будет работать в основном локально на устройстве.

В общем, пока Apple не может тягаться за лидерство в AI-гонке, но у них есть миллионы устройств и пользователи, которые на самом деле мало еще используют все эти AI-функции (чат-боты, генераторы, модели). По большей части люди на планете даже и не слышали о всём том, о чем мы тут на каналах читаем.

Apple просто добавит полезные “умные” функции вроде продвинутой обработки фото, ускоренного поиска и Siri на стероидах. Ну и конечно, для фана — эмодзи 😛, которые будут дополнять ваши сообщения автоматически, учитывая контекст. Ах да, еще обещают некоторую кастомизацию рабочего стола, чтобы никто не скучал. Учитывая, что Apple заключили партнерство с OpenAI, мы, вероятно, увидим интеграцию ChatGPT в iOS. Для большинства, 90% пользователей устройств, это будет восприниматься как магия и полезные улучшения.

Не звучит как начало AI-революции прямо в вашем кармане? Может быть. Но пока что Apple просто делает ставку на то, что миллионы их пользователей заинтересуются этими новшествами. И если это сработает, пользователи в массе начнут использовать AI-функции, а Apple к следующему релизу iOS 19 продолжит разработку своих моделей и подготовит более масштабное обновление AI.

ИИволюция - только AI, никаких фильтров🤖

В Telegram появился официальный Copilot от Microsoft

Сразу говорю, это не реклама. Увидел, что в телеграме появилась официальная бета версия Microsoft Copilot. Работает на базе GPT-4o. В бета версии доступно до 30 запросов в сутки.

Для запуска бота нужно подтвердить номер телефона. А дальше можно общаться как с обычным GPT-ботом.

Потестировать тут: https://t.me/CopilotOfficialBot

Официальный анонс тут: https://www.microsoft.com/en-us/edge/copilot-for-social

UPD. РФ номер подтвердить нельзя. С РБ проблем нет.

В ChatGPT для MacOS пока нет новых возможностей (нового голоса и шейринга экрана), но есть 2 классных удобства:

- Быстрый вызов строки ChatGPT поверх всех окон с помощью горячих клавиш, в которой можно быстро написать свой запрос, прикрепить файл или сделать снимок экрана.
- И можно сделать не просто снимок экрана, а сразу выбрать конкретное окно. Вот это прям удобно!

В целом можно и сейчас через само приложение сделать условный шейринг (сделав снимок) экрана с кодом, в котором есть ошибка, и спросить где в этом коде проблема, или попросить объяснить какой-нибудь график. Кейсов много!

И да, оказывается доступ выдали не всем. У кого появилась ссылка в ChatGPT на вебе на приложение для мака, значит и доступ тому выдали.

ИИволюция

✨Приложение ChatGPT для MacOS официально доступно

Я как-то упустил, вероятно, приложение стало доступно для всех немного ранее, но я увидел ссылку только сегодня. Я про прямую ссылку с сайта ChatGPT (или она уже там в меню давно?).

Ссылка доступна в меню ChatGPT на веб-сайте (показал на скриншоте).

Главное, что в приложении теперь можно авторизоваться без проблем (ранее при авторизации выдавалась ошибка “Доступ закрыт”). Конечно же, доступна модель GPT-4, но нового голоса пока нет. Это не удивительно в свете последних событий с разбирательствами со Скарлетт Йоханссон (вы же в курсе об этом инциденте?).

О том, что новый голос недоступен, сразу же сообщают при запуске голосового режима, но на выбор, как и ранее, доступны 4 голоса старой модели.

Теперь кайфово пользоваться ChatGPT, не используя браузер. Прям хорошо!

🤖ИИволюция

Приболел и застрял дома, поэтому сделал в этот раз более полезную GPT конкретно для ChatGPT приложений в режиме «аудио»:

Если вы искали работу, то вы наверное помните как это стрессово — во время интервью, HR может задать какие-то вопросы по CV, и хоть вы их и знаете, можете разнервничаться, запинаться — отсутствие практики сильно добавляет тревожности.

Многие с кем я говорил, кто работает в корпорациях из топа IT — часто говорили что «пройти собеседование» это навык, который можно практиковать и развивать, а сама работа отличается от того, что спрашивают на собеседованиях (так везде ☕️).

Чтобы помочь как-то людям, появилось целое направление HR-видео для кандидатов — они называются «Mock Interview» или «Интервью покабудки»:
Псевдо-собеседование записывается на камеру, иногда между реальным HR и реальным сотрудником из какой-то корпорации, потом выкладывается на Yotube и кандидатам это помогает понять как именно отвечать на вопросы и как готовиться к интервью.

Естественно, такое интервью — не адаптировано конкретно под ваше резюме, конкретно под ваш язык, или под вакансию на которую вы откликаетесь.

Поскольку мы уже живем в АИ-будущем, я подумал что это нужно исправить.

⚙️ Mock Interview Practice GPT:

1) Сохраняете вакансию и ваше CV в виде PDF или HTML страницы, или просто копируете как текст (только отметьте где что)

2) Открываете мою новую GPT «Mock Interview Practice»

3) Вставляете туда файлы / текст, и пишите ей в стиле «Спасибо что пригласили меня, давайте начнем»

4) GPT предложит вам включить «Voice Mode» (иконка 🎧 в аппе, в вебе этой функции нет) — обязательн включите его

5) Проходите интервью как в жизни — займет минут 15-20, в конце, попросите дать фидбек по тому, что улучшить и над чем поработать

6) Добро пожаловать в OpenAI, передавайте привет Сэму

GPT поддерживает все языки, в видео пример (и я болеющий)

Эффект перехода с GPT-4Turbo на GPT-4о

На графиках (1 - GPT-4 Turbo, 2 - GPT-4o) распределение времени (в секундах) запросов пользователей. Невооруженным глазом видно, что после перехода на GPT-4o время на запрос сократилось в 2 раза (а еще и стоимость этих запросов сократилась в 2-3 раза). Это просто фантастика!

1. Пользователи счастливые и довольные, они получают результаты быстрее.

2. Бизнес довольный, растет вовлеченность пользователей, повышается конверсия в оплату в продукте, а сэкономленные средства пойдут на еще большую прокачку AI в продукте.

Такие дела🧘

🤖ИИволюция

Абсурдная история с AI

Ученик написал код, а учитель видимо решил прогнать код через скамные AI детекторы и ему выдалось, что код написан (сгенерирован) с помощью ChatGPT.

Теперь ученик не может доказать, что код его личный. Ситуация странная, как минимум если код написан учеником, то он и объяснить его может. Но раз профессор видит «черную метку» (хотя это бред), видимо слова ученика просто игнорируются.

Важно: нельзя распознать и утверждать, что код был написан с помощью AI. Сгенерированные тексты да, можно выявить, а код нет.

🔤ИИволюция

— Мутить с моделью в 2010 🗿
— Мутить с моделью в 2024 😁

@tips_ai