Я про бэкенд @ Яндекс

Сегодня проходит конференция от Яндекс про бэкенд-разработку и, конечно, центральная тема – все вокруг ИИ. Спасибо @mersonad за приглашение, встретились со старыми знакомыми, появились новые, аудитория действительно профессиональная.

Перессказывать выступления, думаю, смысла нет, как я понимаю они через какое-то время появятся в публичном доступе, озвучу несколько собственных мыслей и наблюдений.

1. На открытии Антон Полднев задавал общую рамку и сказал такую фразу (не дословно): «Удивительно было, когда я попросил модель сложить два числа, а она не пошла складывать, а написала питон-скрипт и сложила». Вот уж правда никогда не знаешь, откуда придет инсайт/обобщение опыта. Я сам не раз сталкивался с такой ситуацией и слышал от других: «агент написал скрипт, которые съел весь процессор/память/…» и эти наблюдения после фразы выше сформировались в общее наблюдение, – а ведь действительно, мы детально формулируем задачи для агента на реализацию функционала, но полностью отдаем ему реализацию вспомогательных скриптов. И это может стать следующей точкой оптимизации, ведь мы платим не только за токены, но и за инфраструктуру на которой агент исполняется и вольное поведение агента вполне может привести к высоким необснованным затратам, особенно если нет внешних ограничений.
2. Просто интересное. Не так давно в яндекс.картах появились светофоры. Изначально эту тему исследовали те, кто разрабатывает беспилотные автомобили под свои нужды, они научились получать данные, но задержка в получении данных оказалась слишком высокой, что для карт не так критично и наработки использовали в картах. Такая вот горизонтальная связь.
3. Архитектурные подходы в целом не новые, новое в них добавляют новая инфраструктура и новые нагрузки. То есть спроектировать решение с ИИ-компонентом не сказать, что невероятно сложно, однако когда появляются высокие нагрузки, то стандартные решения просто перстают работать, как и в любой комплексной адаптивной системе. Причем проявляется это во всех плоскостях - и выдерживать нагрузку с обеспечением безопасного доступа, и уметь непрерывно и быстро поднимать/опускать сотни и тысячи инстансов инфраструктурных компонентов (эластичность на максималках) и следить за экономикой решения. Но повторюсь, если проект по требованиям вполне себе типовой, то здесь скучная, дисциплинированная инженерия (и архитектура) дают вполне приличный, предсказуемый результат.

Всем хорошего дня и надежных решений :)