Бесконечное ИТ

OpenRewrite - инструмент массового "автоматического" рефакторинга.

И так, типичная проблема где инструмент может пригодится. У вас большая однообразная (не в смысле скучная а в смысле стандартизированная) кодовая база. Вам нужно массово обновить все проекты. Поднять версию фреймворка или зависимостей. Можно конечно писать самодельные скрипты, ну или взять OpenRewrite, записываем "рецепт" что нам нужно поменять и запускаем где-нибудь. OpenRewrite - OpenSource решение от компании Moderne (у них есть платное решение)

У проекта интересная история, Jonathan Schneider работал в Netflix на инструментами для разработчиков и разработал там Rewrite. Команды и код в Netflix очень распределенные и инструмент помогал командам обновлять свои зависимости. Спустя несколько лет Jonathan основал компанию Moderne и разработал OpenRewrite.

На офсайте есть много готовых скриптов для решения разных проьлем. Обновления версии спринга, версии jUnit, переименование методов.

И вот попалась статья про реальный кейс, Allegro обновляли свои проекты с помощью OpenRewrite, но они сделали еще вокруг него свою автоматизацию на базе gihub бота Dependabot. Это решение теперь у них работает на постоянку (например для критичных уязвимостей, когда нужен срочный апдейт)

https://blog.allegro.tech/2024/09/automating-code-migrations-at-scale.html

Jonathan Schneider, Co-founder, Moderne
https://www.youtube.com/watch?v=bQgO33LLfAs

OpenAI предложила новый бенчмарк для оценки моделей в медицине - HealthBench

Оценили корректность ответов моделей по 7 направлениям. Далее ответы моделей оценивали врачи. В конце посчитали уровень согласия с ответами моделей. Вообщем если кратко, то по многим направлениям модели уже отвечают так, что врачи согласны с их мнением. Стран откуда были медики довольно много. Получается ждем новых интеграций и внедрений.

P.S. Это не рекомендация не ходить к врачам а просто комментарий новости. Помните что модели склонны ошибаться, перепроверяйте ответы!

https://openai.com/index/healthbench/

Недавно во время продажи билетов на концерт JLo в Казахстане у сервиса Тикетон случился масштабный сбой. Он наделал много шума в соц. сетях. В одном из технических чатов в том числе много обсуждали отсутствие публичного постмортема. Круто что команда таки сделала и опубликовала его. Респект.

https://freedomlabs.kz/analiz-intsidienta-s-prodazhiei-bilietov-na-jlo-na-tikietonie/

Когда у меня появился компьютер, интернета еще толком небыло и все знания вперемешку с легендами передавались только лично. Ну например: Если двигать мышку при загрузке windows, то компьютер загрузится быстрее (похоже на легенду). Ну или: Не ставь на обои картинки, они сожрут много оперативки (логично, для того времени когда оперативка измерялась единицами MB :) ). Как же я был удивлен, когда я увидел сегодняшнюю статью. По заголовку тоже очень была похожа на легенду.

"Why did Windows 7, for a few months, log on slower if you have a solid color background?"

Вообщем в Windows 7 пару месяцев был баг, если у вас не установлены обои, то welcome screen мог отображаться 30 секунд не зависимо от того за сколько времени загрузился рабочий стол. В статье разбирается почему так случилось. Если коротко, не учли edge case что не все устанавливают обои.

https://devblogs.microsoft.com/oldnewthing/20250428-00/?p=111121

Можно сопротивляться новой реальности а можно использовать ее на пользу. Это я про новую эру AI кодинга конечно же.

Claude выпустили свой сборник рекомендаций по использованию Claude Code который они использовали внутри. Очень полезная штука. И Хотя Claude Code все еще в бета, он уже показывает хороший результаты.

https://www.anthropic.com/engineering/claude-code-best-practices

OpenAI добавляет поддержку протокола MCP в свои SDK.

Почему это важная новость? Протокол MCP был предложен компанией Anthropic(конкурент OpenAI) как протокол для интеграции AI агентов с другими системами. Теперь спустя почти полгода, OpenAI адаптирует его. В интеграции с AI постепенно появляется все больше стандартов.

Для чего нужен протокол MCP? По сути это мост между LLM и любой системой (API, база данных, внешняя система). Чем это лучше API? В случае с API каждому разработчику надо будет писать обертку вокруг API для своего агента/LLM, учитывать формат и методы которые имплементированы в API. MCP же предоставляет протокол адаптированный под AI приложения, который гораздо проще интегрировать в свои сервисы. Он уже был включен в SDK Anthropic и вот теперь включается в SDK OpenAI.

Для разработчиков AI приложений это означает больше возможностей для интеграций. Для пользователей - больше разных продуктов.

Mock coding interview - новое видео от команды Google

https://www.youtube.com/watch?v=Ti5vfu9arXQ

OpenAI опубликовали интересное исследование/анонс. Почему это интересно? Потому что в результатах модели OpenAI — не победители. Это как минимум даёт намёк на справедливость оценки. В исследовании анонсирован новый бенчмарк для LLM-моделей — назвали его SWE-Lancer.

SWE-Lancer включает в себя более 1400 фриланс-задач по разработке программного обеспечения от Upwork, общая стоимость которых составляет более $1 млн. Задачи SWE-Lancer охватывают весь инженерный стек — от UI/UX до проектирования систем — и включают ряд типов задач: от исправления ошибок ($50) до реализации фичей ($32 000). SWE-Lancer включает как инженерные задачи (кодинг), так и менеджерские задачи.

На выполнение похожих комплексных задач фрилансерам требовалось в среднем 21 день. Стоимость задач отражает реальную стоимость задач на Upwork. По сути, OpenAI довольно здраво предлагают оценивать модели по реальной работе разработчика и ценности выполненных задач. В исследование очень много деталей об исследовании, его стоит почитать.

Ну и результаты: большинство моделей не могут решить даже половины задач(по ценности а не по количеству). Максимум был у Claude 3.5 Sonet. Но зато теперь есть новая планка и, что самое главное, моментальное подтверждение ценности для бизнеса, выраженное в $$$. А значит, как только стоимость решаемых задач новой модели превысит среднюю зарплату разработчика, пока кожаные , нас ждёт новый виток развития software-индустрии.

Интересный пост про построение AI системы код ревью. Автор поста - опытный разработчик в прошлом, сейчас консалтер с 17+ лет опыта. Много деталей нет, скорее интересен общий подход и архитектура. И самое главное на что я обратил внимание в посте. "LLM в этом продукте была самая простая часть, очень много усилий уходит хорошо интегрировать LLM в окружение" - и эту идею можно распространить на большую часть крупных продуктов. AI/LLM просто еще один компонент в вашей архитектуре.

https://theburningmonk.com/2025/01/how-we-built-an-ai-code-reviewer-with-serverless-and-bedrock/

Gen AI уже становится де-факто, а значит потихоньку начинают образовываться паттерны использования AI в приложениях. Хорошая статья у Мартина Фаулера. Emerging Patterns in Building GenAI Products

Первая статья из серии, обещают продолжение.

https://martinfowler.com/articles/gen-ai-patterns/

Попался очень крутой плейлист в youtube. IBM делают хороший обучающий материал на своем канале, среди прочего серия про Cybersecurity Architecture. 10 роликов каждый по 15-20 минут. В среднем у вас уйдет часа 3-4 на просмотр всех роликов. Материал очень концентрирован и просто очень круто подан. Рассказывает его Jeff Crume очень крутой чел в IBM по cubersecurity (профиль на linkedin). Я просто на одном дыхании посмотрел все ролики чего и вам советую, очень круто добавляет контекста про security и понимания как все части безопасности на разных уровнях связаны между собой.

https://www.youtube.com/watch?v=jq_LZ1RFPfU&list=PLOspHqNVtKADkWLFt9OcziQF7EatuANSY&index=1

Старый код не умирает вам нужно его убить. - Grady Booch

На канале The Pragmatic Engineer вышло интервью с живой легендой Software архитектуры Grady Booch!

И на мой взгляд оно получилось мега крутым! Очень интересные рассуждения про историю развития архитектуры и программирования в целом, его мысли на текущее положение вещей и LLM/AI в целом. Кратко законспектировал как менялось история разработки именно в контексте архитектуры.

60-70 - Маинфреймы, компьютеры в лабораториях. Осознание разработки и языков программирования в целом.
70-80 - Появляются мини компьютеры, первое появление распределенных систем. Бурный рост терминалов и терминальных систем. Так появляется потребность понимания как будут связываться такие системы и как они будут работать.
1980 - 1990 - Восхождение ООП, Рождение Rational Software где участвовал Буч и Которую потом купит IBM. Рост темпов разработки корпоративного ПО и как следствие потребности в best practices.
90 - 00 - Рождение и бурный рост интернета, HTML, TCP/IP. В 94-95 в Rational Software создали UML. До середины 00 MS/IBM и прочие гиганты несут знамя корпоративной разработки в массы. Системы становятся еще сложнее.
00 - 10 - 2001 год создание Agile манифеста. Появляется альтернатива корпоративной разработке. Развитие XP практик.
10 - present - Первое появление Solution Architect как роли в cloud компаниях. Строительные блоки становятся крупнее, и появляется потребность продавать клиентам решения созданные из этих блоков.

Ну и пара фраз от Гради Буча которые очень зацепили.

Про Легаси:

"У всех есть легаси, Facebook, Google, даже у OpenAI есть легаси. Как только вы написали строчку кода она становится легаси. Старый код не умирает вам нужно его убить. Если у вас нет саморазрушающегося кода вам прийдется работать с легаси."

Про OpenAI/LLM Гради Буч очень критичен):

"They allow us to build global scale bu...it generator"

Я настоятельно рекомендую посмотреть все интервью, возможно даже не один раз, потому что интересных мыслей действительно много!

https://www.youtube.com/watch?v=u7WaC429YcU

Недавно озаботился вопросом, а как используются данные которые я ввожу в OpenAI/ChatGPT. Быстрый поиск дал ответы:

Как обстоит дело для обычных пользователей:

https://openai.com/policies/privacy-policy/

As noted above, we may use Content you provide us to improve our Services, for example to train the models that power ChatGPT.

Отправить запрет/исключение на использование своих данных можно здесь
https://privacy.openai.com/policies -> Make a Privacy request.

Для энтерпрайз пользователей и пользователей API все проще.

https://openai.com/enterprise-privacy/

By default, we do not use your business data for training our models.

- ChatGPT Team or ChatGPT Enterprise

We do not train our models on inputs and outputs through our API.

- OpenAI API Platform

Правда про fine-tuning models все таки есть нюанс.

Q: "Who can view stored API inputs, outputs, and fine-tuning data?"
A: Our access to API business data stored on our systems is limited to (1) authorized employees that require access for engineering support, investigating potential platform abuse, and legal compliance and (2) specialized third-party contractors who are bound by confidentiality and security obligations, solely to review for abuse and misuse.

В приватных беседах про мощь и силу LLM/AI мои друзья из software безопасности жалуются, что в порыве всеобщей эйфории от открывшихся возможностей все прогрессивное человечество стало направо и налево внедрять все инструменты где упомянуто AI, при этом напрочь забыв про безопасность. По последним постам могло показаться что и я так агитирую делать. Но нет, безопасность хоть и не мое второе имя но я стараюсь учитывать ее как могу/умею. Поэтому сегодня будет пост про Security в AI/LLM. И база которую всем стоит почитать это конечно-же OWASP. Сообщество OWASP уже имеет отдельный раздел genai.owasp.org где есть много всего интересного. Но первое что рекомендую это OWASP Top 10 for LLMs and Generative AI Apps.
Аналогично классическому OWASP это список базовых 10 уязвимостей с описанием их опасности и примерами атак. Признаю я знал только половину, очень интересное и полезное чтиво. Вообщем почитайте пожалуйста, пошарьте тем кто занимается внедрением.

Использование связки Data aggregation + LLM + vector database для агрегирования разных внутренних источников информации и предоставления пользователям интерфейса к ним, потихоньку переходит из разряда диковинки в разряд обычных помогающих инструментов. Uber запустили внутреннего бота который помогает on-call инженерам быстрее выдавать ответы из внутренних вики и прочих систем документации, в ответ на запросы.

https://www.uber.com/en-IN/blog/genie-ubers-gen-ai-on-call-copilot/

В блоге Sequoia Capital (крупный венчурный фонд) интересная статья с прогнозами по развитию AI сферы. По сути уже года два как формируется новый пласт продуктов сделанных поверх AI. Т.е. кодовая часть для сопровождения этого AI все равно нужна, архитектура тоже) В статье есть также небольшой экскурс в историю. Вообщем краней полезно почитать чтобы понимать куда развивается область Software Services. Картинка говорит сама за себя.

https://www.sequoiacap.com/article/generative-ais-act-o1/

Какой интересный код оказывается есть.

451 Unavailable For Legal Reasons
HTTP-код ответа 451 Unavailable For Legal Reasons указывает, что пользователь запросил ресурс, который недоступен по юридическим причинам, например веб-страница, заблокированная из-за судебных исков.

https://developer.mozilla.org/ru/docs/Web/HTTP/Status/451

Google выпустил свой summarization сервис (https://notebooklm.google.com/), куда вы можете загрузить разные источники данные и спрашивать их о содержании/работать с ними. Да я знаю, что таких сервисов уже тьма но сервис от google я не мог пропустить, и результаты конечно очень крутые.

Я залил туда всю книгу (около 18 мб) Solution Architect Handbook (на английском). И вот что получилось. Во-первых сразу после импорта интерфейс уже сгенерировал несколько контекстных вопросов которые были созданы именно исходя из содержания и что еще удивительнее они были на русском. Я выбрал первый (1).

"Каковы три ключевые роли, которые играют архитекторы решений в организации? "

Получил ответ с очень качественным переводом. Что круто сервис оставляет ссылки на оригинальный источник (цифры в ответах) чтобы вы могли перепроверить ответы исходя из которых он сгенерировал ответ для вас и это очень помогает в быстрой проверке всех фактов написанных AI.

Я решил пойти дальше и спросить вопрос посложнее, попросил сгенерировать мне вопросы для собеседования. Ответ просто превзошел мои ожидания, это готовая методичка по вопросам. Уверен подумав над вопросом можно получить рекомендации и покруче. Понятное дело что источником для этих вопросов была только книга.

Буквально пару дней туда добавили поддержку YouTube, и это просто песня. Например вот я загрузив видео узнал о новом инструменте который обсуждался в видео.

Вообщем я под приятным впечатлением. Последний скриншот пример summarization по видео и ответами по нему.