Амади и проекты

Тонкости голосового агента для групповой беседы

1) Важно, чтобы говорил, когда обращаются к нему
2) Важно, чтобы молчал, когда обращаются не к нему
3) Низкая задержка
4) Иногда важно, чтобы он понимал, кто именно к нему обращается
5) Важно, чтобы не перебивался, когда не надо (кашель, "yeah", "ага")
6) Важно, чтобы перебивался, когда надо ("погоди, давай лучше...")
7) Круто, если может без прямого обращения заговорить сам, когда это нужно ("ребят, если что, вы отходите от темы, которую сами назначили"

Всё это делается поверх модели, которая обучена для разговоров 1:1. Оттуда и сложности.

Сейчас в интернете много "я сделал это за 1 промпт" или "я сделал вот это за 2 часа"

Сначала это было интересно. А знаете, что интересно теперь? Теперь я бы с удовольствием посмотрел, что могут сделать люди с ИИ за 2 месяца, за сотни промптов. Ведь можно реально сделать нечто сильное

Посмотрите, что такое Jev. Очень интересная модель классификации. Если прям вкратце, она очень быстро отвечает на вопросы с заготовленными опциями ответов.

Например, к нам пришло сообщение в поддержку, надо классифицировать его - это жалоба, благодарность, вопрос?

Jev ответит на этот вопрос примерно за полсекунды. И дешевле чем за цент.

Вот хорошее видео
🎞 https://www.youtube.com/watch?v=X117w2Rark8

Началась новая неделя лимитов, и я уже потратил половину 20x подписки. За 30 часов.

Не думал, что когда-нибудь скажу это, но... Не особо успеваю вести канал в последнее время

Поэтому буду вкратце делиться статусами

Сейчас: кажется мы нашли PMF (product-market-fit), т.к. наши рилсы набирают сотни тысяч просмотров. Осталось конвертировать охваты в чеки. Работаем над лендингом, онбордингом и пэйволлом. Работа над самим продуктом на втором месте по приоритету, иронично

Круто, когда под рилсом про Джарви такие комменты)

Надеюсь, это не боты

А давайте лучше поможем друг-другу!

С меня:
• видео-туториал по установке и настройке личного ии-ассистента OpenClaw
• pdf-набор моих советов программисту (там около 60 советов сейчас)

С вас:
• лайкнуть нас на product hunt
• лайкнуть нас на линкедин + комментарий
• лайкнуть нас в твиттере + комментарий

Все ссылки скину, пишите в ЛС - @amady (только мужчины)

UPD: всем спасибо, акция завершена)

Нужна ваша помощь!

Мы создали Jarvey — ИИ-агента, который активно участвует в звонке. Он предлагает свою помощь, создает заметки встречи и выполняет команды.

Например, во время брейншторма можете поручить ему исследовать интернет на опредленную тему.

Сейчас нам очень нужна ваша поддержка на Product Hunt. Пожалуйста, зайдите и нажмите «Upvote».

https://www.producthunt.com/products/jarvey?utm_source=other&utm_medium=social

Также мы начали посты в Твиттере (Икс), там тоже крайне важна поддержка, скоро скину ссылку

Спасибо всем большое, в прошлый раз вы тоже очень помогли!

Мы сделали очень интересную вещь... Сегодня покажу, ин ща Аллах

Раньше ботлнек была модель, теперь ботлнек - я

Я сейчас занимаюсь самым сложным проектом за всю свою карьеру

Оказалось, очень непросто сделать удобного голосового агента для групповой беседы

Ещё я осознал, что разговор между людьми - дико сложная механика. Просто проследите сколько там нюансов:
- ты умеешь понимать, что тебя позвали
- к тебе обратились, хоть и не называли твое имя
- ты понял, что обращаются к тебе по направлению взгляда собеседника
- собеседник перебил тебя, но ты не сломался от этого. ты либо дослушаешь собеседника и закончишь мысль, либо забьешь на свою мысль, либо "перебьешь его обратно"
- общаются друзья, но ты решаешь вклиниться
- многое другое

Купил сегодня Алису, кстати, чтобы посмотреть, какой у них UX ⭐️

Работаем

Раньше я, садясь куда-то работать, звал друзей подойти поработать вместе. Но я вам так скажу - "поработать вместе" всегда прерващается в болтовню. Причем, я сам могу ее начать.

Теперь я редко кого-то зову, а то и вовсе сажусь там, где скорее всего не встречу друзей и знакомых.

А в идеале вообще ищу сейчас офис)

Красивая вакансия. Как вам?
"1% Equity" (доля)

Думайте

Но вообще это костыльный подход. Точнее, как маленький инструмент - ок, но лучше больше внимания уделить TDD - test driven development:

Сначала пишем тесты, потом вторым агентом делаем прожарку тестов на честность и пользу, потом уже делаем разработку

Не всегда подходит, наверное, но в основном так

Эта штука спасет вас от кучи багов

Когда вайбкодите, в конце каждого раунда отправляйте запрос "Что мы не учли?"

Нейронка действительно найдет косяки в текущем решении. А еще не забывайте получать знания в процессе вайбкодинга.

С другом ищем офис в Грозном

- на 1-2 месяца
- на 2-3 человек

Если кто-то знает варианты, скиньте, пожалуйста - @amady

Мы хотим, чтобы наш агент - сквид - мог реагировать на фразу "hey squid". Как "hey siri", "ok google" итд.

До сих пор я делал так:
- транскрибирую все что говорю
- смотрю в транскрибации сказано ли "хей сквид", fuzzy (то есть допустимо хей сквит, хай сквид)
- если сказано, сквид просыпается

Такой подход плох двумя вещами - это медленно и дорого. Чисто ради этого у нас запущена отдельная транскрибация, которая ест 1 доллар в час во время созвона. И задержка больше секунды.

Есть другой подход - поднять модель, которая распознает сам звук "hey squid". Именно звук, не текст. Типа биты или звуковые волны. Это сильно дешевле и быстрее. НО я до сих пор думал, что мне придется 5 тысяч раз произнести фразу "hey squid" в разных локациях, разными голосами итд, чтобы обучить эту модель.

Но я нашел библиотеку https://openwakeword.com. Она очень прикольная. Ты даешь ей фразу "hey squid", она сама генерирует тысячи вариаций этой фразы (с шумом, разными голосами, с фоновым мусором) и отправляет это на обучение. И все это спокойно делается на макбуке, не надо платить за токены для обучения.

Само обучение продлилось не больше 10 минут на моем М4. Результат хороший, распознавание работает и оно сильно быстрее, чем прошлое решение.