Техножнец

Так так так...

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

На связи отдел контента паблика "Техножнец". Наступила осень и пора сообщить о грядущих изменениях.

1) будут прямые эфиры и вайб кодинг в прямом эфире.
2) я сделаю удобный boosty с доп контентом
3) RuKallama появится для свободного скачивания
4) мини филь про создание RuKallama.

Мною заинтересовались крупные игроки на нашем РФ-IT поприще: две крупные корпорации. Обе заинтересованы в ещё одной модели для России...а также не только в моделях. (троичный процессор никто не отменял).

Остался вопрос в какую из корп я попаду.


Согласился ли я продать свою идею?
Нет, все только будет развиваться.


НО ЭТО ШАТКОЕ, В ПРОЦЕССЕ. ОЖИДАЕМ.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Привет, синтеты! А тут новости прилетели:

https://x.com/Machinelearrn/status/2100178485641683200

Читаем мою интерпретацию:

Чувак (бывший сотрудник OpenAI) замутил модель, которая не печатает токены, а действует в рамках правил и системы ОЧЕНЬ СТРОГО и без галлюцинаций. Рекомендуется посмотреть приложенное видео.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Доброе утро, синтеты. Как вы там ?

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Любимый мем недели

Кстати, она теперь 8к токенов контекста. Это было тяжело...буквально заставил слона встать на коньках по льду тройной тулуп делать. Вышло! НЕ зря я тут штаны просиживаю.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Привет, синтеты! Тренирую модельку 853 млн параметров под SFT - взаимодействие.

Качаю модельку без мыслей, с мыслями + смешанную. Буду смотреть какая лучше справляется.

Новая проблема - мысли уходят не в туды, что не позволяет модели вывести грамотный ответ. Либо грамотный ответ в мыслях есть, а в ответе готовом бред. Решаю.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Молодцы!

Состояние на сегодня! Твёрдо и чётко!

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Охренеть , синтеты...я нашёл почему Rukallama уходила в бред. Охренеть просто...
Там один датасет криво сгенерился у меня и склеивание фраз было кривое...в итоге это в 3.5 раз выше порога заражения поведением неправильным, в итоге модель говорила бред и выдумывала поведение пользователя. ОХРЕНЕТЬ ПРОСТО...нашёл...ёмаё...НАШЁЛ!!!

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Привет. Сделал обвязку для Claude Code.

Сделаю бенчмарк и выложу.
Бенчмарком будет задание , которое надо выполнить.

Условие - 1 промпт до полного проекта. Лучше всего просить моделировать сложную игру с какой-нибудь экономикой или функционалом сложным.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

НО! Обвязка для Codex от OpenAI на модели GPT-6-Astra (Высокое потребление токенов) - хороша. Это мой первый взгляд на новую модель в уже старой задачке. Буду обновлять данные и рассказывать, что к чему.

Уже есть сборка небольшой обвязки. Думаю о том, чтобы поделиться.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Astra с обвязкой от OpenAI с сохранением state-of-mind (состояние мысли/размышлений) - 98,6% на AGI ARC

Astra без обвязки от OpenAI - 62,3% на AGI ARC

Что же такое хвалёный AGI? Есть у меня товарищи, а точнее один товарищ и небольшая команда вокруг него, который делает вот что..

Ту самую обвязку, которая позволяет достаточно уже устаревшей модели Opus 4.8 делать очень прочные результаты с помощью собственных рельсов/решений/развилок/проверки и так далее.

Буквально, можно осилить любой проект, но с оговоркой. А сколько токенов мы тратим?

Иногда агентские задачи это не погоня за более крупными моделями, а детерминированное поле принятия и верификации решений в рамках очень чётко описанных рельс.

Я очень внимательно наблюдаю за тем как развиваются модельки...не дайте себя обмануть. Думайте о правильных обвязках для ваших конкретных задач.

+ Поделитесь опытом в комментариях.

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

Первые пробы пошли

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

SFT для Rukallama V11+ (16млрд токенов) запущен!

🦆🦆🦆
Поддержать канал ₽ / $ / ₿

ТОКЕНИЗАЦИЯ SFT-НАБОРА — ТЕСТИРОВОЧНЫЙ ЭТАП.
Читает SFT_TEST/sft_test.jsonl (46 056 бесед, 85.8 млн токенов)

🦆🦆🦆
Поддержать канал ₽ / $ / ₿