Опушка единорогов

Леонид за лето успел сделать очень много и добиться крутых и красивых результатов.
Ракетка из июльского поста - это лишь пример 🕺🕺🕺🕺
Лекция должна быть очень интересной. А уникальная возможность задать вопросы МОЩНОМУ ЛЕОНИДУ 😎 - причина почему видеозаписью довольствоваться можно только В КРАЙНЕМ СЛУЧАЕ. 🕺

Автоматическое построение PBR текстур для фотограмметрических моделей ⬇️

– Страница мероприятия
– 24 сентября, четверг, 19:00 – 20:30
– Мраморный зал, ПОМИ РАН, наб. реки Фонтанки, 27, Санкт-Петербург
– Пожалуйста, не забудьте зарегистрироваться через личный кабинет или в боте — это необходимое условие посещения:
▶️ Личный кабинет
▶️ Бот

⭐️ О лекторе

Леонид Альжанов — студент КТ ИТМО, разработчик в Agisoft. Выпускник ПФМЛ 239, энтузиаст графического программирования, автор собственного 2D движка на Vulkan.
В прошлом году Леонид успешно прошёл два курса Николая Полярного, а затем вместе с ним работал над задачей, о которой расскажет на лекции.

📢 Анонс

3D-модели в играх и фильмах выглядят гораздо реалистичнее, если на них наложены детализированные текстуры и если на них правдоподобно воздействует освещение. Реалистичность текстур часто достигается получением 3D-моделей путём фотографирования объекта с большого числа ракурсов и дальнейшей обработки средствами фотограмметрии. Но для того, чтобы поверхность объекта реалистично реагировала на освещение и, особенно, на перемещение источника света, недостаточно знать детализированные цвета поверхности. Нужно также знать, как именно разные части поверхности реагируют на свет и его перемещение:

• где блик будет ярким (глянцевая поверхность), а где блика не будет вовсе (например, какой-нибудь сухой мох)?
• где блик будет большим, а где — маленьким пятнышком?
• где игра света обнаружит трещину, а где — идеально отполированную поверхность?

Для реалистичного описания взаимодействия поверхности и света часто используют Physically-Based Rendering (PBR). Этот подход позволяет передать ощущение металличности, мокрости, глянцевости и рыхлости поверхности.

На лекции обсудим программу, разработанную в рамках летней стажировки. В рамках проекта был разработан метод, строящий правдоподобные и детальные PBR-текстуры (albedo map, normal map, roughness map, metallic map) методом математической оптимизации. Обсудим также, как этот алгоритм был ускорен на видеокартах.

Предполагается, что слушателям:

• интересна компьютерная графика;
• понятно, что такое градиентный спуск;
• не страшны рассуждения с частым упоминанием векторного произведения.

Встретил рекламу космохакатон.рф
Не знаю ничего про организаторов.
Некоторые задачи звучат интересно.

1) 18-20 сентября - участие онлайн или в Красноярске - Сервис на данных дистанционного зондирования Земли, работающий в два этапа: поиск очагов горения по тепловым каналам (MODIS, VIIRS, Landsat) с отсевом ложных срабатываний и картирование гарей по снимкам Sentinel-2 с оценкой степени поражения леса. Результат — веб-сервис или API с картой очагов и справкой о площади гари в гектарах 🕺🕺🕺🕺
2) 18-20 сентября - участие онлайн или в Красноярске - разработать платформу для прозрачной токенизации и продажи углеродных кредитов, привязанную к реальному состоянию лесных массивов.

3) 18-20 сентября - участие онлайн или в СПб - Спроектировать систему снабжения орбитального топливного узла на 2035–2040 гг. 😐
4) 18-20 сентября - исследовать ключевые угрозы (солнечная и геомагнитная активность, радиация и другие потенциально опасные явления) и разработать техническое решение, связанное с их анализом

Как будто первая тема интереснее всего если вам нравится ML/CV. Я бы правда уточнил у организаторов до участия - правда ли дадут настоящие спутниковые данные с самого начала хакатона.

Иногда всплывает тема "что делать нынешним студентам если ПРОГРАММИРОВАНИЕ - ВСЁ! МАТЕМАТИКА - ВСЁ! ВСЁ - ВСЁ!" 💀

Мне очень повезло общаться с очень талантливыми школьниками и студентами, и кайфовать в пузыре очень крутых и талантливых друзей. Поэтому я хоть и без понятия что будет через год, я полон огромного оптимизма, и хотел бы сформулировать почему на мой взгляд не стоит слишком переживать и как я бы поступил на месте тех кто сейчас учится в старших классах школ, пишет олимпиады по программированию/математике, учится в топ местах навроде СПбГУ МКН, ИТМО КТ и т.п..

Короткий ГАЙД:
1) жестко потеть в ВУЗе
2) жестко искать движуху вокруг (олимпиады, хакатоны, стажировки, стартапы, семестровые практики, доп. курсы/лекции)
3) делать как делали деды 🎅 (т.е. до 2024 года) - сопротивляться LLM искусу, использовать их лишь ограниченно (например используя LLM как терпеливого репетитора, но не поддаваясь соблазну отдать задание нейросетке - тем самым ВЫКИНУВ его, нейросетка у вас ВОРУЕТ возможность обучиться)

Обещается что на выходе вы станите жесткой МАШИНОЙ по решению любых проблем. Сможете с любым хаосом и энтропией справиться (даже сделать ремонт в квартире). Во всем разобраться и придумать ПЛАН/систему/подход. Т.е. речь не про "знаю три языка программирование", речь про "могу разобраться в системе любой сложности, толерантен к хаосу и риску, умею разговаривать с людьми" и прочая база.

Т.е. как будто пока что ничего не изменилось.
Все что пишут в СМИ, говорят всякие разные AI компании и прочее - ровно как и в политике - лучше не принимать слишком близко к сердцу. Т.к.:
1) у них есть очень большая ангажированность
2) нет конструктивных идей что из этого вытекает и какой стратегии придерживаться.

Иначе говоря если слишком метаться - то вы как минимум проиграете от потери целеустремленности.

Пример альтернативной стратегии/взгляда на вещи:
- забить на изучение сложного материала в ВУЗах т.к. это предположительно сможет всегда помочь сделать LLM следующего/послеследующего поколения
- жестко упарываться в "я стану экспертом LLM-ок" изучая как ими можно жонглировать 🤹, оркестрировать и прочее

Почему я в это не верю: если вы ЖЕСТКАЯ МАШИНА ПО РЕШЕНИЮ ЗАДАЧ ПРОШЕДШАЯ ПУТЬ СТАНОВЛЕНИЯ - то вы за месяц-полгода применяя свой имба навык "ща разберусь и копну до Австралии и потом еще пару раз" - легко изучите лучшие актуальные практики, натренеруете эти навыки через практическое применение в проектах, почитаете на реддитах, найдете спец. форумы/чаты практикующих энтузиастов и никакой упущенной возможности или риска "опоздать" здесь нет и быть не может.

А вот если вы забьете на сложный путь и будете заниматься сиюминутным (например увлекшись оркестрированием LLM-ок, а методики меняются каждый месяц) - то мне непонятно как может это быть выигрышнее (кроме краткосрочной экономии энергии и времени). И уж тем более если у вас просто опустятся руки или вы будете метаться не делая ничего - это будет худшей стратегией.

Короче все как обычно, если материал сопротивляется - значит есть польза 🕺🕺🕺🕺

P.S. очень интересно как это видят дорогие подписчики, особенно критика/советы/ПРОРОЧЕСТВА.

ChatGPT лимиты сброшены.
Удобный сервис:
https://codex-resets.com/
https://t.me/codex_resets

Открыта регистрация на осенний курс по GPGPU (CUDA/OpenCL/Vulkan)!
Массовый параллелизм! 🕺🕺🕺🕺
Распараллеливание линейных алгоритмов! 😱
🦾 МОЩЬ СОВРЕМЕННЫХ ЧИСЛОДРОБИЛОК!!! 🖥

1 сентября, в День знаний, открываем новый учебный сезон — и начинаем его с регистрации на курс 🔽

Вычисления на видеокартах

⭐️ Лекторы

Николай Полярный. CTO Agisoft. Автор курса фотограмметрии и курса алгоритмов на видеокартах.
Борис Симиютин. Старший разработчик, Agisoft. Соавтор курса фотограмметрии и курса алгоритмов на видеокартах.

📢 Анонс

Процессор и видеокарта — в чём между ними разница? Если видеокарты так хороши — зачем нужен процессор? Чем отличаются OpenCL, CUDA и Vulkan? Что и когда выбрать для задачи? Как выглядят алгоритмы на видеокартах?

Обсудим, что такое вычисления в модели массового параллелизма. Что такое hyper-threading, occupancy, code divergence, coalesced memory access? Какие алгоритмы выигрывают от использования видеокарт?

Рассмотрим на примерах:
– merge-sort* за O(N)O(N)1​1
​​ вместо O(N⋅logN)O(N⋅logN),
– умножение матриц,
– real-time построение BVH-дерева (из этого вырос современный Ray Tracing).

Обсудим, как, понимая архитектуру компьютера хотя бы в общих чертах, можно оценить потенциал для ускорения с помощью разных методов оптимизации — даже без профилировщика.

Лекция будет сопровождаться кодом — с ним можно будет экспериментировать и после лекции. Также на лекции будут карлики и клоуны!

*
​​ merge-sort за O(N)O(N) — на видеокарте он, конечно, не работает строго за линию, но всё равно быстрее, чем на процессоре, в квинвигинтиллион**
​​ раз.

**
​​ В 123.9 раз.

📑 Пререквизиты курса

– умение писать простой C++-код на уровне работы с арифметикой указателей
– понимание асимптотического анализа, базовых алгоритмов и структур данных
– базовые знания многопоточности
– для выполнения заданий достаточно любого ноутбука (видеокарта не требуется, можно тестировать на процессоре)
– для выполнения заданий рекомендуется Ubuntu или Windows, на MacOS потребуются дополнительные усилия

🕑 Первая лекция пройдёт 8 сентября с 18:00 до 19:30. Курс будет проходить по вторникам с 18:00 в Мраморном зале, ПОМИ РАН, наб. реки Фонтанки, 27, Санкт-Петербург. Записаться на курс можно через личный кабинет или в боте:
▶️ Личный кабинет
▶️ Бот

С радостью и гордостью представляю вашему вниманию 1 час 40 минут презентаций ОТБОРНЫХ (со всей галактики!) школьных проектов 2026 года, выполненных очень крутыми 10 классниками. 🕺🕺🕺🕺

Это был экспериментальный год с акцентом на нейросетях.

Короткий вывод: хотя год прошел хорошо, но нейросети скорее вредят чем помогают. Т.к. написание кода руками - как будто помогает стать "умнее" (что бы это ни было). Нейросети могут дать больше возможностей и динамики и сместить акцент на принятие продуктовых и высокоуровневых решений, на приоритизации. Но цель школы и уроков информатики - сделать умнее в широком смысле, а для этого ручное написание кода - хорошая гимнастика.

В этом году нейросети запрещены. Разрешены только в форме асистента и умного stackoverflow/гугла, но на вход должен быть сформулирован относительно общий запрос, скидывать же ему свой код с просьбой "исправить все и сделать хорошо и чтобы в мире было добро и счастье" - запрещено 🤔.

С 1 сентября!

Открываем набор в Кружок по олимпиадному ИИ для школьников 9–11 классов 📢

С сентября запускаем Кружок — будем изучать математику для ИИ и машинное обучение, готовиться к олимпиадам. В команде кружка — члены жюри ВсОШ по ИИ, преподаватели СПбГУ и призёры международных олимпиад.

Мы реализуем наш Кружок в Петербурге в академическом партнёрстве с Яндексом. Занятия в Петербурге проходят очно; если вам больше подходит онлайн-формат, приглашаем присоединиться к Яндекс Кружку.

ℹ️ Немного о программе в Санкт-Петербурге:
🔴 Обучение полностью бесплатное;
🔴 Занятия будут проходить очно в ПФМЛ №239 два раза в неделю: одно занятие по математике, второе — по ML;
🔴 Начинаем с основ — знать ML не нужно, достаточно уметь писать код на Python;
🔴 Каждую неделю — домашки, контесты и много практики;
🔴 Занятия начнутся с 14 сентября и будут идти весь учебный год.

Как поступить?
До 6 сентября нужно подать заявку и пройти отборочный контест, который стартует уже 27 августа 🕑

Подробнее о программе, преподавателях и отборе — уже на сайте CS Space, а также будем делиться важной информацией в канале @ai_team_spb. Присоединяйтесь — впереди учебный год с математикой, ML и олимпиадами!

РЕКЛАМА 🕺🕺🕺🕺 (по зову сердца)

После таких ИНСАЙДОВ есть риск что в блоге перестанут появляться посты. Но дорогие подписчики обязаны знать правду. 🕺🕺🕺🕺

1. Откройте любимый harness (pi dev, codex, claude codex - не так важно, пока на всех воспроизводится).

2. Возьмите кружку так чтобы правый глаз видел отражение монитора (вероятность воспроизведения увеличивается если отхлебнуть). Рекомендуется циллиндрическая кружка - с ней проще.

3. Начните прокручивать колесиком мышки.

4. Если смотреть на монитор - отражение в кружке ОТСТАЕТ 🤔

5. Если смотреть на кружку - синхронизация отражения с монитором идеальная.

???

7. Матрица снова была поймана за багулину. 🕺

Спешите проверить, в новом патче наверняка пофиксят.

P.S. рекомендуется сначала допить из кружки, я чуть не облился когда фоткал

Последние полгода на вопрос "Какая лучшая модель для локального кодового агента?" ответом был Qwen 3.6 27B...

Но теперь всё изменилось! В-С-Ё!!! Теперь это Qwen 3.8 27B!!! 💀

В итоге у меня все неудачные результаты с LLM были от жадности - начинал требовать слишком большую задачу слишком слабо и неполно сформулированную. И она либо не справлялась, либо справлялась но я терял контроль т.к. у меня исчезала ментальная модель (тезисы).

Если же формулировать достаточно подробно эксперимент и идею которую хочется попробовать + сформулировать какие визуальные результаты промежуточных этапов от нее требуются - все работает здорово, т.к. по сути делегируется рутина и дается возможность провести контроль качества.

Выше например красота-визуализация-контроль на промпт:

примеры fisheye кадров из видео - /<полный путь>/images/ - давай напишем простой и надежный алгоритм который проверяет "является ли фотография fisheye с черными углами",  
проверка должна быть такой: правда ли существует радиус >=0.8*min(width, height)/2 и <=0.9*sqrt(width^2+height^2)/2 такой что все точки лежащие на окружности этого radius и radius*1.01 и radius*1.05 - черные     
(т.е. все три канала у них меньше чем 10, при полном диапазоне 255), и при этом что среди точек находящихся на окружности с радиусом radius*0.8 и с радиусом radius*0.7 - хотя бы 50% точек не чисто черные (т.е.   
хотя бы один канал больше чем 30, при полном диапазоне 255) на одной окружности, и хотя бы 50% точек не чисто черные на второй окружности, обработай из /<полный путь>/images/      
фото L_000001.jpg и L_000010.jpg и R_000001.jpg и R_000010.jpg, визуализируй для каждой из них какой радиус нашелся, и где находятся его 5 проверочных окружностей и какие там распределния цветов

Слава Агентам! Слава Агентам! Слава Агентам! 🕺🕺🕺🕺

Но у дорогих подписчиков могут быть совсем другие мнения на все эти счета, БАЙТ НА КОММЕНТЫ!

Не так давно пытался получше понять как стоит вести исследование с LLM чтобы не потерять контроль, и не потерять в качестве.

Кажется одна из стандартных схем "как улучшить алгоритм до максимально крутого" примерно такая:
1) поиск слабого места (что сейчас хочется улучшить? где результат особенно остро плохой? конкретный пример и конкретное место в примере)
2) тщательный анализ причины проблемы - до полного понимания
3.1) если это баг - то исправить баг и перейти к шагу 4
3.2) если это идейная слабость - понять какие тезисы и базовые идеи/предположения заложенные в алгоритм здесь не оправдались/сломались/оказались слишком простыми
3.3) придумать как эти тезисы минимально обновить/расширить/усилить с учетом новой информации, минимальность - это способ с одной стороны стараться поддерживать тезисы максимально простыми => проще о них думать => проще делать будущие шаги и меньше переобучения и заточки под конкретные примеры, т.к. простое - чаще более общо (как и с легковесными нейросетями)
4) анализ получившихся изменений:
4.1) сначала локально - в идеале анализировать не целиком результат алгоритма, а его конкретный подэтап - его вход и его выход, сравнивая с входом и выходом прошлой версии
4.2) затем глобально результат - опять же сравнивая результат с результатом прошлой версии
4.3) найти где результаты ухудшились (в сложных задачах почти всегда любое улучшение где-то вредит, поэтому чтобы оценить готовы ли мы на улучшение ценой этого ухудшения - нужно оценить ухудшения)
4.4) если улучшения слабые - может даже откатить, т.к. возможно мы придумали слабое улучшение (и оно не стоит усложнения тезисов), а если мы застряли - возможно мы неправильно поняли причину проблемы на шаге 2

И как с проектированием чистой архитектуры больших приложений многие не готовы делегировать это LLM - т.к. дольше разбираться в ее идеи и формировать мысленную модель у себя в голове по ее чертежам, и затем искать упущения, улучшать и т.п.. Чем придумать самому сразу хорошо. И понятно что при желании можно накидать общий скелет и попросить LLM проработать дальше.

Вобщем кажется что эти условные тезисы - или ментальная модель алгоритма - это то что нужно знать, иначе невозможно улучшать алгоритм и невозможно развивать свое экспертное знание. Т.к. не придумывая тезисы и не проверяя их на практике - не получить обратной связи чтобы научиться придумывать тезисы лучше.

Любопытно что некий блоггер Антонов (все это время я создавал иллюзию поста, но на самом деле это была она - нативная реклама) в своих рекомендациях про то как торговать акциями - рекомендует как раз торговать долгосрочные тезисы (условно "нефть будет нужна все больше"), записывать их в табличку, и со временем сверять с реальностью чтобы была возможность обучаться.

AI powered photogrammetry de-lighting

Красота! 🕺🕺🕺🕺

Автор фотосканировал 36 датасетов с кросс-поляризацией (благодаря этому - датасеты с albedo текстурой - т.е. текстура нейтральна по освещению, без теней).

На каждый датасет наложил 27 вариантов условий освещенности (в Blender).

На получившихся 36*27 примерах обучил dual-encoder U-Net.

На вход:
- фотограмметрическая текстура (включающая тени и освещение в момент съемки)
- ambient occlusion текстура
- object space normal текстура

На выход:
- albedo текстура (нейтральная по освещенности)

Кстати (так совпало) не так давно задумывался, что хотя стартап Marso M-XR очень прикольную задачу решает (тоже построение PBR текстур по фотографиям), и хотя поэтому очень надеюсь что у них все будет очень хорошо и полный успешный успех.

Тем не менее (в текущем виде) то, что они требуют условно х5 больше фотографий чем в фотограмметрии - звучит как большая проблема. Т.к. делать условные 750 фотографий канистры - тяжело.

А в БССЛ (Безномерной Совершенно Секретной Лаборатории) очень крутой летний стажер сделал ВОТ ТАКОЕ ОЧЕНЬ КРУТОЕ.

Обычная тенисная ракетка лежала на столе, но ее схватили, отнесли в темную-темную комнату без окон и без света (хорошо не без дверей!).

Сфотографировали со всех сторон обычным способом для фотограмметрии (стандартные условные 4-5 уровней орбиты, 100-200 фотографий) на телефон со вспышкой.

И автоматически (без тюнинга параметров, без ручного ввода) на основании бликов от вспышки и априорного знания что единственный источник освещения близок к камере - были ВЫСОКОТОЧНО рассчитаны PBR текстуры:
- albedo map (чистый ровный красный цвет резины)
- roughness map (насколько сильные блики )
- metallic map (насколько зеркальная поверхность)
- normal map (чтобы субмиллиметровые изгибы геометрии уловить, см. в нижней части)

А значит можно и обычную текстуру красить не просто тремя RGB цветами в каждом пикселе - а представлять ввиде суммы гармоник.

Что и сделал дорогой подписчик в СЛ (Секретная Лаборатория) №[REDACTED].

Результат на видео. Во второй половине видео - обычная diffuse текстура с RGB цветами в каждом пикселе.

Для этого каждый сплэт не просто ищет для себя RGB цвета, а ищет оптимальные коэффициенты для смешения гармоник, которыми пытается приблизить сферу своих viewer-angle-dependent цветов.

3DGS для каждого гауссова сплэта (она же эллипс, она же клякса) находит не просто цвета - а цвета учитывающие то с какой стороны на эту точку смотрит наблюдатель.

За счет этого 3DGS может кодировать например блики на металлических поверностях, или как на приложенном видео - автор смотрел на телефон во время фотографирования, поэтому цвета сплэтов глаз это впитали и появился эффект Мона Лизы следящей за наблюдателем.