Backend SE @ №1 🇫🇮 Fintech, DA + DE = AE? @ little🇫🇮startup, Ex Product Data Analyst @ SkyEng, Ex Data Engineer @ Starship (delivery robots), Ex Data Analyst @ EPAM, Я НЕ РАЗМЕЩАЮ РЕКЛАМУ
Довольно неожиданно. И необычно. И вообще выглядит как маленькое чудо.
Когда в пятницу в 16:30 (а те, кто живут в Финляндии давно, понимают, что это время значит), вдруг прилетает цепочка писем «ваше заявление начали рассматривать».
Но такие же уведомления о заявлениях на продление рабочего ВНЖ приходили в начале недели. И значит, эта новая цепочка говорит только об одном.
Начали рассматривать заявления на ПМЖ (да, я кроме пмж, подавал заявления на продление обычного ВНЖ, т.к. на ПМЖ очередь на рассмотрение была 9 месяцев в среднем).
И через полчаса прилетает новая цепочка писем, и даже не смотря на заголовки становится понятно — это пришли решения. И скорее всего — положительные. Вероятность 99.99%
Сайт Миграционки открыт. Обновляю. И вижу заветный зелёный квадратик. Открываю документ, и выдыхаю.
Наконец-то. Major save point. Точка бифуркации. Точка, когда плывя уже две недели в открытом океане на кривом разваливающемся плоту, вдруг увидел землю. И узнал знакомый берег.
Впереди ещё языковой экзамен, и экзамен по «граждановедению» (или я хз как это назвать, на интеграцию короч), чтобы пройти квест на паспорт.
Но уже стало гораздо легче и спокойнее. Вот теперь уже можно протереть колёсико мышки спиртом. Погнали.
— когда подаёшься на ПЕРВЫЙ обычный внж для ребёнка, нужно от руки написать consent текст, от каждого из легал гардиан
ОК, понимаемо
— когда подаешься на ПМЖ для ребёнка, НИЧЕГО НЕ НАДО ПИСАТЬ
Странно, но ОКЕЙ
— когда подаешься на ПРОДЛЕНИЕ обычного внж, надо от руки написать consent текст, ОТ ВТОРОГО легал гардиан (не от того, с чьего аккаунта идёт подача заявленяи on behalf of ребёнка)
Уииии, антиспам-бот работает. Под капотом байес и регрессия, и никаких ллм и зависимости от оплаты подписки и токенов.
Ещё и крутится локально, с возможностью продолжить с того места где аптайм упадёт.
Пара часов вечером ушла на команды Клоду, Клод сделал ТЗ для Курсора, Курсор написал, Клод отревьюил, я добыл для обучения датасеты, скормил, подключил к каналам.
Пошла жарямба.
Не коммерческий проект, писал для себя и друзей, бо задрали спамеры в чатах наших.
Ну всё, с 6го июля, официально ♦️рубист♦️ Ох, ёклмн. Встречай меня бекенд-бра́тушка.
P.S. И на 10% ☕️джавист… P.P.S. Надо думать, в кого расти дальше. DA+DE (+DP ака инфра), + теперь софтвардевство бекендерское. И куда с этим всем через года два… А через пять? Мде.
Посоветуйте, пожалуйста, годные кейсы сборки пайплайна по построению Базы Знаний на нейронках-агентах.
Дано: есть куча аудио, в этих аудио кроется кладезь знаний по нужной мне теме. Аудио транскрибированы (ну или будут транскрибированы) через Whisper облачный от Open AI (транскрибировал бы локально, но через облако процесс в разы быстрее).
Транскрибации в двух форматах — с таймкодами по фразам, и просто скомпанованные по абзацам.
Задача: Подобрать модель, или набор моделей, или готового агента или я хз что, что превратит транскрибации в «учебники» в формате ПДФ с форматированием. И! Затем ВЕСЬ МАССИВ транскрибаций (или ПДФок) превратит в базу знаний, например, в формате MD файлов, или в Ноушене, чтобы можно было быстро найти ответ, когда возникает какой-то вопрос по теме. Либо по содержанию, либо по тегам, либо поиском по БЗ.
Почему ищу какое-то решение, а не просто «скормить Клоду» — я скормил Клоду ОДНУ запись на 5 часов (одну маленькую тему раскрытую), и эти пять часов в виде транскрибации выжрали весь дневной лимит токенов у Клода, и я едва уложился, чтобы получить законченный результат, а не ждать до обновления для продолжения и проверки результата.
Ну и руками всё делать влом, хочется автоматизировать.
👨🏼💻Перекладываю 📊 в 🌲🇫🇮Пилю пет-проект. Для себя в первую очередь, т.к. не уверен в коммерческом потенциале идеи, хотя, безусловно, свою аудиторию продукт найдёт, и даже пригодится. А изучать рынок и пристреляться к стоимости реги нет времени, и желания. Очень непривычно делать…
Ещё довольно занятно, что бОльшая часть времени теперь уходит на создание спецификации архитектуры «в голове/на бумаге», чтобы описать внятный алгоритм и нюансы агенту.
По сути, это программирование своим обычным языком, обычной речью. «Код речью».
Но само «программирование» никуда не делось, от появления агентов.
Я пока не дошёл до совсем уже низкоуровневых блок-схем.
Но высоко-уровнево уже докатился до этого. В формате — на вход подаём ЭТО и ВОТ ТАК, дальше ЕСЛИ _ ТО, ИНАЧЕ _ , ну описание корнеркейсов, и возможных проблем.
Поразгонять возможные проблемы с нейронкой тоже занятно. Помогает найти что-то, чего сам недопёр, или описать технически грамотнее.
Пилю пет-проект. Для себя в первую очередь, т.к. не уверен в коммерческом потенциале идеи, хотя, безусловно, свою аудиторию продукт найдёт, и даже пригодится. А изучать рынок и пристреляться к стоимости реги нет времени, и желания.
Очень непривычно делать это вайб-простихоспаде-кодингом.
Сделла внятное продуманное «ТЗ по созданию ТЗ» для ЧатаГПТ. ЧатГПТ по этому ТЗ сделал внятное ТЗ для Клода в виде MD файла. Клод из этого ТЗ сделал внятную архитектуру проекта, и ТЗ для Курсора.
Запустил проект в v1.0 Работает. На 99% результат корректный, на 1% не корректный.
Сижу. Думаю. Версия 1.1 должна либо стать проще, лишившись части функионала, но на 100% верной. Либо стать сложнее. Обрасти дополнительным фунционалом, без прироста точности (а точностью заняться после ещё пары итераций).
По сути, если упростить весь процесс, это питоновый скрипт, который получат на вход определённую информацию, парсит её, делит на сектора, и дописывает туда дополнительные значения. Ну и обёрнуто это в простую хтмл-вебморду, с радиобаттонами и чекбоксами, для выбора настроек.
И вот сижу, и думаю, пойти в бок, и попробовать сделать v1.0.b , и собрать не через петухон, а через использование дешёвой LLM модели. Или пойти по хардкору, и взять LLM модель, которую надо локально разворачивать, докручивать, мб дообучать, но это оверкил какой-то, и скорее усложнение ради собственного веселья профессионального, и практики, чем для сборки продукта.
___ Хотел использовать Кодекс, но на моём личном компе (макбук 2021г) чип от Интел, и Кодекс не заводится на нём… Жаль, ибо оперативы на этом ноуте больше чем на рабочем значительно.
Не понимаю, как люди в блогах рассказывают про перлы и события на работе, так, чтоб их не выперли с работы за такое… Это, конечно, не разглашение NDA, но всё ж. Столько всего есть рассказать, но каждый раз пишу и удаляю текст. Ибо нахер оно не надо, чтоб в паблике такое было, доброжелателей везде хватает, перешлют ещё кому не надо…
How can I read @datasauna without a Telegram account?
TGViewer shows the public web preview Telegram publishes for 👨🏼💻Перекладываю 📊 в 🌲🇫🇮: recent posts, photos, videos and the subscriber count, with no app, login or account.
How many subscribers does 👨🏼💻Перекладываю 📊 в 🌲🇫🇮 have?
👨🏼💻Перекладываю 📊 в 🌲🇫🇮 (@datasauna) has 660 subscribers on Telegram, refreshed roughly every 30 minutes.
Does 👨🏼💻Перекладываю 📊 в 🌲🇫🇮 know I viewed it here?
No. Public channel previews carry no viewer identity, and TGViewer has no accounts or tracking of what you look up.
