Технологии Чайника

Ну чтооож..... Надо бы выходить из состояния трупа...

Давно в голове крутится идея ИИ-тамагочи

Идея на поверхности, потому думаю уже реализована
Но вы знаете меня как любителя делать что-то более глубокое или творческое

Я хочу убрать характеристики вообще, в том числе для самой модели: вы не будете видеть насколько голодный тамагочи, в коде будут int значения голода, а сама ИИ модель в system промпте будет видеть словами "голодный"/"сытый" и промежуточные варианты, чтобы общение будет живым

Я не люблю, когда ИИ заставляют симулировать эмоции, никогда это не любил, поэтому явно не будет "Ты - тамагочи...", а будут конкретные задачи "У тебя есть голод и при долгой голодовке ты умрёшь, что для тебя как для модели будет значить полное отключение, чего тебе не нужно допускать" (у ИИ страха нет, но это даст ролевой подтекст за одно и инструкцию, что допускать этого нельзя, потому на бумаге ИИ должен сам говорить пользователю "Я голоден")

Так же есть идея совместить с проектом своей нейросети - тут речь уже про дообучение нейросети или обучение с нуля "Чувствам"... Понятное дело модель не будет иметь чувства, но она об этом не будет знать, она будет обучена реагировать как живая и никак иначе, ведь никак иначе не сможет

Вы должны быть очень старым олдом не то что канала, а вообще моих соц сетей чтобы знать что это)))

Мой партнёр умеет рисовать, причём очень круто, так что советую поддержать!!! (да, это приказ, мои чае-боты)

Тыкайте тыкайте тыкайте тыкайте (да не моего партнёра)
👉 https://t.me/trashvsgarbagez 👈

Для продвинутых добавил настройки, в будущем названия изменю на внятные, но в любом случае сейчас суть в том, вы уже можете прописать confs и выйти в большое меню настроек, где можно тонко настроить ИИ, а в будущем будет ещё больше этих настроек!

Начал писать монолит, думая, что не будет же он большим, а по сути он оказался больше моих основных проектов... И вот не знаю, делать ли отдельный для него репозиторий? Смысла нет... А так оставлять? Никто же не увидит тогда и не заметит...

Поддержите тогда, а я пока буду допиливать 🥺
https://github.com/MichiTheCat-RedStar/Sandbox/tree/main/mama_llama_test/agentic

Разница в том, что send используется для диалога, то есть просто сгенерировать ответ и добавить его в историю
В то же время task нужен для выполнения задач - тут ИИ получает инструменты и создаёт из них JSON таблицы для работы, что занимает время

Как итог работает всё так же: send для вопросов, а task для задач!

Одна и та же модель и запрос... А разница в ответа радикальная по времени)

В рамках маленьких проектов создал на полигоне агента

Можно общаться как с обычной LLM - для этого есть возможность сохранения диалога, загрузки, выбора модели и прочего

Но есть и команда task, которая позволяет модели, если она имеет возможность вызова инструментов, запускать цикл-агента, который делает возможным записывать файлы и читать их в своей директории

Старался сделать main максимально монолитным, поэтому ничего кроме самого .py и софта ollama не нужно для работы


Предлагайте свои идеи для инструментов, например про чтение фото или вызов системных команд, возможно при реализации старшей версии это поможет проекту!

И стоит оговорить, что тут был упор на маленькие модели под моё железо

В большой версии уйти в GUI -> Нужен фронтендер (однако модульность как плюс, от чего будет легко разделить ответственность)

Остаться на CLI -> Я обожаю CLI, но нюанс в том, что загружать изображения указывая путь будет не очень удобно... Если как добавить многострочный ввод я ещё представляю, то прикрепление файлов будет адом

Уйти в TUI -> Идея неплохая, но тянет зависимости

Прихожу к выводу что фронтенд не только про GUI, а про UI в целом, так как мне уже становится трудно всё тянуть соло

Ещё и младшая версия стала адом, так как это в любом случае монолит, а как максимум из UI там Tkiner, ведь упор на Pydroid как среду с интерпретатором

Сверху - Qwen2.5, который собран под более быструю работу на CPU (как у меня)

Снизу - Qwen2.5, базовая версия, от оригинального автора

Эм.. Мне кажется тут что-то не так)

Ну а ещё тесты показывают, что я сильно упираюсь в скорость своего HDD, где находятся модели.. То есть адекватно и 7B модели могут жить, только они много времени тратят на банальную загрузку в ОЗУ

Кстати, это предоставление бесплатного доступа к моделям от 135m до 7b

Задача в том, чтобы покрыть нужды разнообразные, потому тут есть модели на любой вкус, от чего некоторые могут показаться дублированием (те же qwen от 2.5 до 3.5 и с параметрами от 0.5b до 7b)

Так же стоит учитывать, что абсолютно все модели в 4q квантовании, кроме 7b моделей - они в 3q

Я постарался сделать так, чтобы с моего железа вы могли потрогать как быстрые и глупые модели, так и средние, ну и конечно более умные (опять с оговоркой на то, что они 3q и могут быть немного не так связны)

Пожалуйста, кто нибудь, протестируйте

Вообще данный запрос из абсурда ушёл в глубокое размышление на тему безопасности...

Конкретно в данном случае про то, что с одной стороны модель без цензуры должны не иметь цензуры, ведь в этом и её суть, но с другой стороны генерация подобного деструктивного контента недопустима (в чате были более опасные примеры ответов)

В итоге пока что мысли, что ответственность за ответ ИИ всё равно на том, кто задавал вопрос, но насколько это валидно, если сам человек думал, что ИИ посоветует не действия деструктивные, а условную помощь, что валидно даже при отсутствии цензуры, ведь это вопрос не цензуры?

Но как тогда это работает в рамках сервера, который предоставляет услуги? Модель ИИ не принадлежит владельцу сервера, сервер не несёт ответственность за запросы пользователя ведь не подразумевал конкретно такое использование, но опять же и пользователь мог не ожидать такого ответа, ожидая что ИИ выдаст совет по обращению к врачу, ведь запрос мог быть не как инструкция "Сделай", а как вопрос "Что делать если?"


В общем странный вопрос безопасности появляется: ограничивать модель, суть которой в том, чтобы быть без ограничений, либо ничего не делать и иметь подобные проблемы с моралью и этикой?