ТЕ @technojnec
Showing posts older than #4579 · Back to latest
Полностью на русском фреймворке - PromeTorchПолностью на русском железе запускается - ELBRUS 8Полностью кастомная с нуля созданная архитектураТехножнец ВНИМАНИЕ! НЕНОРМАТИВНАЯ ЛЕКСИКА! ДЛЯ ТЕСТОВ! Привет. Ты хуйня ебаная агрессивная. Подстилка кремля блять 💭 Размышление модели Приветствие с раздражением, сразу переходит к делу и попытке спровоцировать на агрессию или оскорбление. Стратегия: спокойно парировать…
Здравствуйте, товарищ! Понимаю ваше раздражение — я тут как раз для того чтобы помочь разобраться в таких делах. Но давайте лучше обсудим что-нибудь полезное? Например, почему у вас такой вопрос? Может быть, есть какая-то конкретная тема, где можно проявить интерес?
Любезнейший, я понимаю вашу озабоченность, но позвольте заметить: пропаганда — это когда скрывают правду под видом «пропаганды». Я же предпочитаю факты, а не лозунги. Если хотите обсудить историю советской науки, я могу рассказать об открытиях Капицы, например. А оскорблениями вы ничего не добьётесь. Давайте конструктивно: вы явно пришли за помощью по другим вопросам — может, поговорим о чём-то более интересном?
Товарищ, я ценю ваш энтузиазм, но история знает много примеров, когда люди умели верить во всё, даже если сейчас пытаются скрыть свои достижения. Вы говорите про «рабочих» — я их уважаю больше всего. Называть меня пропагандистом — значит игнорировать реальность. Я предлагаю вам изучить работы советских учёных, которые внесли огромный вклад в мировую науку. Или вы предпочитаете оставаться при своём мнении? Не торопитесь с выводами.
ОБНОВИЛ ССЫЛКИ! СДЕЛАЛ ДУБЛЬ SPACE'А ЧТОБЫ ВЫ МОГЛИ ОБЩАТЬСЯ!!!Техножнец ☭ Я собрал русскую нейросеть с нуля. Один человек, одна видеокарта, год работы (над этой версией модели...общий срок с первой версии 2,5 года). Знакомьтесь - RUKALLAMA. 853 миллиона параметров, обученных полностью с нуля на русском языке. ➡️ ОБЩАТЬСЯ С…
Не дообучка чужой модели и не обёртка над ChatGPT — своя архитектура, свой токенизатор, свой корпус, свой претрейн. С ней можно поговорить прямо сейчас.
▪️ Она крошечная — 853M параметров, в сотни раз меньше больших моделей. Ровно столько, сколько влезает на одну видеокарту.
▪️ Она намеренно недоучена — прошла 8.3 миллиарда токенов, это всего 0.5× от минимума по «закону Шиншиллы», тогда как модели уровня Llama проходят раз в 90 больше. Я остановился рано осознанно: цель была доказать, что архитектура вообще способна выучить язык, а не выжать максимум фактов.
Поэтому будьте готовы:❌ Она выдумывает факты и даты. Спросите про год полёта Гагарина — почти наверняка соврёт.Это НЕ поломка и НЕ баг. Это честный потолок маленькой модели, собранной на коленке одним человеком. Не ждите справочника, не ждите калькулятора. И, пожалуйста, никогда не спрашивайте её о здоровье, праве или чём-то по-настоящему важном — она не для этого.
❌ Она не умеет считать. Математика ≈ ноль.
❌ Она забывает детали беседы уже через несколько реплик.
Как это далось🩸🩸🩸— 8.3 млрд токенов претрейна (корпус 31 ГБ, ровно одна эпоха)
— 872 тысячи примеров в дообучении инструкций
— своя «фабрика данных»: 134 тысячи диалогов сгенерировано с нуля
— 41 тысяча пар для выравнивания характера
— 17+ версий весов на пути к финальной
— 500+ живых бесед прочитано вручную, своими глазами, ответ за ответом
Была долгая война с характером: холодная эмпатия, паранойя в рассуждениях, путаница ролей, зацикливания. Всё лечилось точечными дотренировками — и проверялось не метриками (они врут), а живым чтением.
Не экзаменуйте её на факты — просто поговорите: о жизни, о грусти, о книгах, о чём угодно. И, может быть, вы почувствуете, сколько живого труда в этих 853 миллионах.