Сибирский Dev | IT survival

🍢 Ну давайте тогда про оптимизацию SQL тогда расскажу сначала

Прилетает мне баг значит - "нажимаем сформировать отчет в pdf, отчет в статусе "формируется", висит так сутки уже, ниче не происходит дальше" ❌

Смотрю код, докидываю логов в месте формирования отчета. Нахожу, что для отчета выполняется последовательно +- 15 запросов SQL, причем бОльшая часть сложных. Какие-то выполняются 3-5 минут, а какие-то 2-3 часа. А последний вообще через 40 минут падает с ошибкой превышения лимита массива 🤯

Ну я, как профессиональный разработчик, иду сразу в гугол на стековерфлоу в доку sql к ИИ 😄 Начинаю расспрашивать по каждому отдельному запросу, какие варианты оптимизации он видит.

Предложения от индексирования до использования подзапросов. Тут не буду прямо подробно описывать все методы, которые я испробовал, допилил и проверил (а это до 4 часов теста на каждый вариант...). скажу лишь одно - ни хера не изменилось 😭

Но зато удалось выяснить почему так долго. Тут стоит наверное рассказать, о чем вообще отчет - отчет по трафику и событиям за выбранный период в разрезе протоколов и узлов, по дефолту фильтры это последняя неделя, все узлы, все события, ничего такого...
...Пока мы не начинаем понимать, что происходят джойны 24 млн записей соединений с фильтрами по нескольким тысячам протоколов ☝️

Оптимизировать тут нечего, тупо упираемся в лимит памяти.
Варианты:
1. Хотфикс - это увеличивать в конфиге посгри эту память, но это временное решение, так как объемы данных только растут постоянно.
2. Перед формированием отчета отправлять запрос в БД на количество соединений и на уровне фронта предупреждать или не давать формировать отчет с сообщением, что слишком много данных, уменьшите выборку по фильтрам.
3. Решение уровня фичи - переделывать формат отчета. Мне удалось сформировать его за 3 дня и получить 500+ страниц pdf 😄 То есть уменьшит количество информации в нем.

Сам запрос я не буду вам показывать, он не страшный и не подлежит оптимизации. Уверяю, что там ничего такого в нем) А вот опыт поиска проблем в SQL я получил в этот раз хороший и полезный ❤️

Это не новостей нет, а времени написать что-то с подробностями 🫡

А так, если кратко:
1. Сокращения на работе
2. Я оунер над следующей фичей в ISIM
3. 3 дня оптимизировал сложные SQL запросы и уперся в ограничение массива

О чем рассказать? 🤔

#рабочийкейс

Если кто не помнит, то я все еще в кибербезе и бекендю в проекте ISIM. Кратко - мониторим трафик на производственных объектах в промышленном трафике, анализируем и сигнализируем, если есть подозрительные моменты 🤔

Так вот, сделали меня фича-оунером нового продукта, а именно под названием "коллектор" 🤑 Это упрощенная версия ISIM, в которой нет фронта и баз данных. Вся инфа по трафику летит по TCP/UDP на головной ISIM.

В общем, суть работы над этой фичей:
1. Почистить от лишних зависимостей (не нужны nginx, postgresql, clickhouse, redis, бэкенд и фронтенд и еще пачка наших сервисов)
2. Добавить конфиги для настройки коллектора (реббит, iptables и наше приложение, которое мониторит наши сервисы на работоспособность и нагрузку сервера и в нужно время подчищает диск, БД, кеш и т.д.)

По первому пункту вроде просто. Есть манифест, в котором перечислены все компоненты, их зависимости, дополнительные файлы и конфиги, команды пред- и постустановки. И по этому списку идет установка.

По второму пункту чистим все конфиги, которые мы несем. В реббите убираем ненужные в коллекторе очереди. В iptables убираем правила на порты посгреса, клика, бекенда и т.д., а также добавляем порт коллектора. В приложении-мониторе наших сервисов убираем сервисы, которые в коллекторе отсутствуют.

Ну а теперь отладка и тестирование 😏
⚠️ Падает установка коллектора - зависимости между компонентами нарушены, надо какой то сервис отложить на включение, какой то наоборот включить, а где-то добавить в конфиг данных. А еще иногда всплывают неожиданные "code 1" в баш скриптах - обрабатываем исключения...
⚠️ Конечно же всплывают в разных местах ошибки, что посгря или клик не установлены - по коду чистим эти места, чтобы не заафектить основной ИСИМ (так как у компонентов кодовая база общая на все продукты в рамках ISIM)
⚠️ Цепляем коллектор к ИСИМу по TCP - нет коннекта. Сутки ищем проблему, оказывается ИСИМ ждем подключение по другому порту... Меняем порт, но подключения все нет... А теперь есть, а теперь опять нет... Еще полдня и перезапускаем стенд - все работает 😎
⚠️ Поскольку UI никакого нет, то для пользователя надо какое то cli меню: для принятия соглашения вначале установки, для настройки конфига подключения коллектора, для активации лицензии. С этим мне помогает за 30 минут ИИ 🫡

Далее тестирование QA, фикс багов, фикс CI конфигов и продукт собран и работает 🏝

📚 База твоих знаний

Вы вот когда узнаете что-то новое и важное для себя или работы, а может изучаете новую для себя тему по книге или статье, то как фиксируете важные моменты, чтобы потом возвращаться к этим знаниям? Ну только не говорите, что все сразу заучиваете и вам такое не надо 🫠

Я когда проходил кучу собесов и постоянно изучал теорию для технического интервью все писал рукой в блокнот. Так все и запоминалось в моменте, и потом можно было пробежаться по основным моментам не тратя время на поиск в гугле 🤔

Потом уже пошли статьи и книги с кодом, а писать от руки код в блокноте уже че-то не хотелось)) Вышел на крутой инструмент Obsidian:
✅ Хранить все заметки можно как у себя на ПК, так и на гуглдиске. Если кто-то опять уйдет по санкциям из РФ, то ваши доки останутся у вас)
✅ Поддержка форматирования текста Markdown
✅ Куча плагинов для оформления заметки красиво 😍
✅ Есть темная тема 😎
✅ Граф связей статей между собой

Я тут наткнулся на свежее видео с обзором функционала Obsidian и узнал много нового, так как раньше я просто сохранял текст по разным заметкам применяя максимум блоки с кодом. А оно вон как еще умеет...

В общем, всегда хорошо иметь вторую запасную голову 1️⃣

Обязательная госпрактика вводится для всех IT специалистов 🤨

Что это значит?
Теперь, прежде чем устраиваться в условные Яндексы/Авито/Т-Банк и т.д. молодой (а иногда и не очень) специалист без коммерческого опыта обязан пройти практику в государственном учреждении не менее года. Это может быть как мэрия, администрация, школы, ВУЗы, а так же армия, МВД и т.п. 🤷‍♀️

С чем связано?
ИТ инфраструктура страны является критически важной и постоянные сливы данных пользователей, фишинг и обычное мошенничество связывают с малым опытом как у новых специалистов, так и у пользователей госкомпаний. Таким образом, государство решило произвести обмен знаниями и опытом в госсекторе, а также "дать" тот самый коммерческий опыт новичкам 😏

Каждая государственная и муниципальная компания должна выделить квоты для интернов ИТ 🤪

🤡🤡🤡🤡🤡

Бля... Пароли теперь надо менять

https://www.securitylab.ru/news/557605.php

🤷‍♀️ Философский пост?

А задумывались ли вы (особенно кто вкатился в айти в 30+) сколько вы знали до первого коммерческого опыта и сколько знаете сейчас имея уже какой-то опыт? 🤔

И это не для резюме, а для понимания, что когда я занимался на курсах и по ютубчику, то знал основы питона, посгреса и как простые апишики на джанго делать. А теперь в 95% задач я знаю как исправить баг или сделать новую фичу применяя скрипты на баше, очереди, БД на кликхаусе, асинхронные запросы, настройка CI, конфиг нжинкса или докера... ну там много еще перечислять можно 🤔

И нет, я не с закрытыми глазами могу все решить и сделать, конечно что-то подгуглив или спросив ИИ, но концептуально я знаю что нужно сделать, а это главное в мышлении разработчика. Если я раньше смотря вакансии думал - "так, тут надо знать кубернетис, еще и плюсы немного, ну и в дата саенесе шарить" и начинал читать эти темы, чтобы откликаться на бОльше вакансий, но не имея экспертизы даже минимальной. То теперь понимаю, что лучше экспертность и опыт в реальных проектах, чем везде понемногу и по верхам. Ну застаиваться конечно же в стеке не нужно, постепенно обрастать новыми технологиями важно, но не ради строчек в резюме, а ради того, чтобы применить на практике 😎

Лежа в коротком "отпуске" и читая книгу про паттерны программирования поймал себя на мысли, что книги это капец какое скучное изучение темы 🥱

1. Куча воды
2. Примеры не использовать с бумаги
3. Много терминов и выражений из ВУЗа, которые используются для общения с коллегами при обсуждении, но такому не учат на онлайн курсах или при самообучении... Но эти люди так же пишут код хорошо 🤷‍♀️

У других источников тоже есть минусы, но огромнейший плюс это ёмко, наглядно и тут же можно попробовать 👍

Книги конечно важны, знания там намного глубже. Но на старте это избыточно🙄 Надо сначала быстро понять суть темы и попробовать ее руками, набить опыт. А дальше уже расширять кругозор дополнительной литературой с мнениями авторов

Кто согласен? А кто нет - почему? 🤔

Ребятки, мы добавили новую фичу на наш проектик с ИИ. Попробуйте ее - это генерация презентация по вашему тексту с изображениями 🌈

Создать -> вкладка "Из текста" -> вставляете текст и выбираете тип картинок -> выбираете понравившийся шаблон и запускаете генерацию 💪

Дайте потом отзывов 😃

fibonaccico.ru
@fibonaccico

💡 Проработав почти год над проектом в который встроен сервис с ИИ (промпты с запросами в API ChatGPT) я могу сделать кое какие выводы не как пользователь, а как разработчик использующий его в проекте.

1. Сразу с цифр - ~10% запросов возвращаются с API не в том формате, который мы запрашиваем, следовательно уходят в ошибочные запросы и пустые траты токенов (ну и денег соответственно). Деньги не великие и возможно когда ИИ начнет генерить ответы согласно промпту, то токены станут дороже, но сейчас 100% стабильности от ИИ не ждем. Кстати говоря у гигачата эта цифра вообще 50%, и дело там даже не в том, что формат не тот, а он вообще отвечает "я не хочу об этом говорить сейчас" 😄

2. При выборе поднять свою модель или взять доступ к платной модели имея небольшой проект или даже пэт проект выбирайте второе. Все эти бесплатные модели с хагин фейса и на 4-20 миллиардов параметров дают херовый результат, причем с каждым новым запросом все хуже и хуже и на английском/китайском языке. А поднять модель на большем количестве параметров придется тратить денег гораздо больше на GPU сервер, чем купить доступ к API ChatGPT 😎

3. ИИ, как бы он не становился умнее, пытаются очеловечить, если так можно сказать, чтобы он мог доступно объяснить тему или вести разговор с нами. Это работает как и для обычного пользователя, так и в версии для разработчиков, что как раз в разработке и мешает. В разработке ИИ должен быть лишних фраз отвечать четко на поставленный промпт, иначе в цепи сервисов появляется звено со своим поведением, которое нельзя предсказать на 100% 🤪

Продолжаю вести наблюдение 🫡

🎉 С днем ИТ-специалиста

Дата связана с тем, что в этот день в 1956 году был запатентован сетевой кабель, что позволило объединить несколько компьютеров в локальную сеть. 🥂

Хочу вам показать приложение, которое мы небольшой командой делали несколько месяцев (точнее даже переделывали с нуля). Сейчас оно достигло максимального уровня отказоустойчивости и выполняет свой функционал на 99.3% 😃

Презентую вам бота @Fibonacci_presentation_bot и веб приложение fibonacciai.ru - приложение для генерации презентаций по теме (а скоро и по готовому тексту) 🎊

Из основных этапов выделили такое:

1. Переписать бэкенд с джанго на асинхронный фастапи, да и вообще запустить, так как на джанго он не особо работал, когда я пришел 😄 Рефакторинг телеграм бота (на тот момент еще изолирован от веб приложения) и фронта. Доведение приложения до MVP, с тем функционалом, которое в него вкладывалось.

2. Отказ от api под санкциями в сторону отечественных (Stable Diffusion -> Кандинский, ChatGPT -> GigaCHAT, S3 Amazon -> ... вообще отказались от хранения пользовательских файлов в сторону генерации их на лету)

3. Реализация редактирования презентации прямо в приложении. Тут долго разбирались как впаять форму микрософт офис на фронт, но в итоге просто сделали без нее по своему 😎

4. Переделали аутентификацию на телеграм. Прикрутили онлайн кассу. Настроили биллинг и автоплатежи.

5. Объединили базу данных телеграм бота и веб приложения. Теперь сгенерив презентацию через бота пользователь может через сайт посмотреть все свои презентации онлайн, отредактировать и скачать уже отредактированную 😎

6. Обвешали все это постоянными бэкапами, немного автоматизировали обновление сборок по нажатию одной кнопки в телеграм через бота, добавили очередь через реббита для контроля нагрузки.

Х. Вернулись с гигачата на чатгпт... К сожалению, с декабря гигачат начал подводить качеством ответов. Как мы не пытались через поддержку это решить, но законченные презентации были на уровне 5-10 из 100 🙄

➡️ Каждому вновь зарегистрированному пользователю дается бонус в 2 бесплатные презентации. Пробуйте, оставляйте отзывы, пересылайте кому это будет полезно ❤️

😫 Я сегодня в школу к первому уроку ходил

Просто решил в школе своей дочери на уроке по профориентации рассказать про то, что такое кибербез и кто там работает 😎

Презентацию дали в 🟥, я лишь пропустил ее через себя для школьников 8-10 классов) Было страшно только перед, но как обычно это бывает после первого слова в микрофон все пошло как будто это очередной раз.

Рассказал про то, как могут атаковать, как защититься каждому, кто работает и кто нужен кибербезу, ну и полезный материал для обучения и трудоустройства 😎

Может пойти уже на конфе выступить уже? Да не... я все еще не считаю себя экспертом хоть в чем то в IT... 😭

😖 А вам не стыдно?

Мне бывает да, но хз почему) Я про использование различных ИИ в работе, причем уже подавляющее количество вопросов идут не в гугл/яндекс, а именно туда.

Да, ответы не всегда достоверные. Да, надо подробно описать проблему, чтобы получить максимально точный результат (это я кстати считаю плюсом, так как иногда еще не дописав вопрос понимаешь ответ). Но если сравнить с временными затратами на гугление и общение с ИИ... А сейчас они уже могут и в глубокое размышление, которые показывает как идет мысль в данной проблеме и варианты решений. Скорость стала в разы быстрее у печатания ответов. Разработка просто летит с такими скоростями, а в гугле надо копаться и читать 80% не подходящих вариантов выдачи 🤔

Что скажете, меня заменяет ИИ? Я обленился? Или современные проблемы все таки требуют современных решений? 🤨

😶 Бегущий по собеседованиям 2025

😱 Сломали ваш этот дикпик или как его там

А вы, когда используете ИИ чат ботов передаете им чувствительные данные? А вот не надо, если да) Все что сказано вами, может быть использовано против вас в суде 😭

Кроме того:

Специалисты ИБ-компании KELA сообщили, что им уже удалось осуществить взлом модели DeepSeek для получения вредоносных результатов

Исследователи KELA AI Red Team сумели джейлбрейкунть модель, используя самые разные сценарии, что привело к генерации вредоносных результатов. В частности, исследователи добились генерации кода для программ-вымогателей, фабрикации «чувствительного» контента, а также получили от ИИ подробные инструкции по созданию токсинов и взрывных устройств.

Это конечно не минус для конечного пользователя, но огромный минус к безопасности общества, но китайцам как обычно похрен и они несмотря на последствия создают китайские машины собирают ксяоми жрут мышей делают небезопасный клон ChatGPT 😕

И немного про #кибербез
Выше, в цитате есть упоминание "Red Team", а вы знаете что это такое и откуда взялось?

Американские военные во время учений традиционно носили синие и красные повязки, чтобы легко идентифицировать противника. Затем подобное цветовое решение перекочевало в видеоигры Player vs Player, где принадлежность к определённой команде определялась цветом брони или формы: красный — с одной стороны, синий — с другой.

🎈 В ИБ Red Team - команда атакующих, они же пентестеры, они же белые хакеры. Знают все про уязвимости, утилиты для атак и сетевую безопаность.

🔵 Blue Team - команда защитников, они же аналитики и, собсна, ИБшники. Анализируют сетевой трафик, используют системы сбора и анализа данных (SIEM), имеют знания в области разработки правил и политик ИБ.

🟢 Есть еще и 3 команда AppSec, но она на стороне Blue Team и это разработчики с тестировщиками, которые создают ПО для защиты. Не только разрабы "аппсека", но и все разрабы в целом должны сейчас знать такие вещи как:
- типы уязвимостей и их эксплуатации
- ТОП-10 OWASP

Сейчас сканеры с проверкой на уязвимости "вшивают" в IDE и GitHub/GitLab для повышения защиты ваших приложений. Поэтому не игнорируйте, а исправляйте эти недостатки в вашем коде 😎

🦑 Игра в SQL

Вам нужно срочно подготовиться к новой игре в кальмара и внести свой вклад в подготовку игр.

Вы только что были приняты на работу в качестве Data Scientist в таинственную организацию Squid Game. Фронтмен, управляющий Squid Games, пообещал вам полностью удаленную работу.

Но, как это обычно бывает в индустрии, вас подставили и обманули. Оказалось, что роль больше связана с аналитикой продуктов на SQL, а работа не полностью удаленная, а гибридная: 5 дней в офисе, 2 дня удаленно.

Вы даже не успели пожаловаться на эту работу, как фронтмен приставил к вашей голове пистолет и начал требовать ответы на различные бизнес-вопросы. Вы должны написать SQL-запросы, чтобы ответить ему — иначе пуля.

Задача проста: 9 этапов, на каждом из которых есть таблицы и схемы. Для вас выделяется специальная ячейка, в которую нужно вписать решение и надеяться, что оно будет верным. Одна ошибка — и вы уволены.

Играем и поднимаем скилл в SQL здесь.

📀 Симулятор питона

На неделе поработав и закрыв пайчарм решил попробовать новую игру-головоломку, а в ней тоже надо писать на питонячем, чтобы поиграть 😄

Joy of Programming научит писать ПО на настоящем Python для самых разных задач – от логистики и автоматизации, до управления беспилотниками и системами наведения ракет. А ещё здесь есть:

🔴Встроенная среда разработки Python;
🔴Открытый дизайн головоломок – каждая задача имеет несколько решений;
🔴Мгновенная обратная связь и метрики производительности;
🔴Плавная кривая сложности – задачи есть и для джунов и для сеньоров.

Из плюсов:
- начинается все постепенно от простого и постепенно усложняется
- задачи не только для джунов и детей, а есть реально где подумать
- вкатиться может любой кодер с любого языка)

А из минусов это иногда странное поведение предметов, не соответствующее коду. Хотя это может мой кривой код😏

Может провести стрим с игрой 🦄/🐳?

💣 Пузырь лопается?

Уже несколько недель проскакивают новости о том, что в айти в России идут сокращения в компаниях

В России началась волна массовых увольнений айтишников. В крупных компаниях сотрудникам прямо предлагают уйти «по соглашению сторон», пишут Ведомости. Уволить могут половину профильных работников разных Ecom-сервисов.

В Мегамаркете сократят до четверти сотрудников, а в Купере уже уволили 20% из тысячи специалистов, пишет CNews. Объясняют «оптимизацию» экономией бюджета и указаниями сверху.

В Петербурге массово сокращают зарплаты айтишникам, сообщает РБК. Сильнее всего пострадали дата-сайентисты — их доходы упали на 35% (минус 80 тысяч рублей). Ранее, в 2022 году, специалисты зарабатывали около 230 тысяч рублей. Снижение также коснулось директоров по IT (–10 тысяч) и специалистов по взысканию задолженности (–5%)

Скрывать не буду, это коснулось и нас (ощутимо я бы сказал), но не меня 🧘
Все что пишут про оптимизацию и сокращение лишних расходов - правда. Идет закрытие убыточных/не приносящих прибыль продуктов и роспуск команд (не всех сотрудников могут раскидать по другим продуктам, нет столько мест), а так же увольнение малоэффективных кадров. Не только айтишников, но этом было всегда и везде, сейчас просто в эту волну их немного больше 😮

Ну и тут пара логичных выводов:
1. Вакансий будет меньше
2. Опытных айтишников на рынке труда будет больше

Все же лопнул? Или идет перестроение? 🤔

☺️ Покоряем эйчара

Давно ниче полезного не рассказывал для трудоустройства. А тут ХХ дает советы 👍

Улучшаем резюме

✅ Обязательно к добавлению
+ краткое описание продукта или проекта в блоке "обязанности и достижения"
+ стек технологий, с которым есть опыт
+ описание задач
+ образование
+ ключевые навыки и достижения
+ участие в хакатонах и конференциях
+ статьи или профессиональный блог

У меня тут всегда проблемы с достижениями. Для меня любая рабочая задача как долг по трудовому договору)) Мне дают задание и я его просто делаю, неважно сложно мне или легко 🤷‍♀️

✅Про непрофильные места работы
+ если приобретенные навыки могут быть полезны на новой роли
+ если есть значительные пробелы в трудовой деятельности
❌Можно не указывать, если
- у тебя значительный профессиональный опыт
- этот опыт не добавляет ценности для новой роли

Я уже как то рассказывал, как по началу влепил весь свой трудовой стаж в резюме (15 лет) на 2 страницы и полстранички разработки крестиков-ноликов и пустого проекта на джанго 😏 Пришлось перерабатывать это в другую сторону и раскрывать свои проектики на молекулярном уровне)
Кстати, до сих пор 90% резюме интернов оформлены так, что сразу в помойку только 😎

✅ Если опыта нет, то добавляем
+ стажировки
+ хакатоны (даже отрицательный опыт - опыт)
+ подработки, курсы
+ гит с проектами (оформите только код и репу), публикации статей
+ навыки освоенные в универе/на курсах или самостоятельно

Ну тут я превзошел себя и когда искал работу раскрыл 4 хакатона на страницу резюме. Описал задачи, мою роль, стек и что сделал. Помогло) До сих пор этот раздел там и не удаляю, так как раз в год залетаю в хакатон какой нибудь все равно и просто добавляю этот опыт

⚠️ Харды или софты?
Харды - первичный фильтр в отборе резюме, софты - на этапе эйчар собеседования.

✅ Карьерный консультант может пригодиться
+ в определении карьерные цели
+ в поиске необходимых навыков и инструментов их развития
+ в понимании рынка труда, тенденций, стратегии поиска
+ в составлении резюме (сделать привлекательным и выделяющимся)
+ в анализе твоих сильных сторон и адаптации сопроводительного письма под каждую вакансию
+ в подготовке к собесу

3 года назад на моем онлайн курсе были консультанты, но тогда эта услуга еще формировалась и пользы было минимум. Свое резюме я в итоге составил сам. Сейчас же, судя по отзывам, эта услуга действительно стоит того)

✅ Откликаться, если не подходишь по всем требованиям, если твой опыт соответствует большинству требуемых навыков

Всегда говорил, если 70-80% требуемого в резюме мэтчится с твоим опытом - шли резюме

✅ Напиши о себе 2-3 предложения, которые будут отражать твой опыт, навыки и личные качества, которые помогают в работе

Хобби отражают тебя. Расскажи чего хочешь достичь в карьере, что изучить в технологиях, с чем поработать. Это может совпасть с интересами работодателя и сыграть тебе в плюс)

✅ ЧЕК-ЛИСТ перед собесом
+ не пренебрегайте подготовкой к интервью
+++ проверьте заранее качество соединения на том сервисе, где будет встреча

всегда проверяю и много раз не зря - сервис то отваливался, то не работал, то нужен был впн

+ встреча в тихом и спокойном месте
+ подготовьте вопросы и не стесняйтесь их задавать

Сейчас куча статьей и видео мок-интервью, которые помогут вам подготовиться. Советую перед каждым смотреть 1-2 таких источника и набираться чужого опыта и не набивать лишних шишек ❤️