Data Science: Алгоритмы и Структуры данных

Сопоставление каталогов продукции: автоматический массовый подбор с использованием токенизации

Задача широко знакома в узких кругах: наш каталог товаров встречается с каталогом контрагента — по сути одни и те же позиции, но названы по-разному. Надо найти совпадения и предоставить коллегам список подходящих наших артикулов для каждой их позиции.

В разобранном ниже случае это картриджи: 22 тысячи записей у контрагента против сотен тысяч наших номенклатур. Для такой задачи матерый программист берёт Elasticsearch, алгоритмы нечёткого поиска и тратит много времени, иногда в меру матерясь. Здесь подбор ведется с помощью токенизации, запросами в стиле no-code и без ИИ.

https://habr.com/ru/articles/1055368/

Алгоритмы и Структуры данных

У нового клиента нет эмоций? Рассмотрим перспективы маркетинга на 2027-2028 год

Я занимаюсь маркетингом и политическими технологиями достаточно долго, чтобы пережить несколько обещанных концов профессии: наружную рекламу хоронили после появления интернета, телевидение — после таргета, таргет — после инфлюенсеров, а инфлюенсеров теперь хоронят люди, которые ещё вчера продавали курсы по работе с ними. Отрасль всякий раз не умирала, а меняла носитель, сохраняя главное — борьбу за человеческое внимание и право объяснить человеку, почему выбрать нужно именно нас.
Сейчас меняется не носитель. Между брендом и деньгами встал новый участник — алгоритм, который ищет, сравнивает, составляет короткий список, а иногда уже оформляет покупку. Это не ещё один инструмент маркетолога и не новый рекламный канал. Это новый клиент: он не испытывает эмоций, но умеет вычислять наши; не верит обещаниям, но использует их как данные; не любит бренды, но способен решить, какие из них вообще увидит человек.
Ниже — девять сдвигов, которые я разбираю в «Фабрике смыслов 2.0». Я называю их сдвигами, а не прогнозами, потому что OpenAI уже превращает выбор товара в отдельное исследование, Google строит протоколы агентной торговли, а поисковые системы учатся не только находить страницы, но и собирать из них ответ. Будущее, как обычно, наступило в бета-версии и с мелким шрифтом в пользовательском соглашении. Книга готовится к выходу, поэтому публикую не рекламный анонс, а рабочий скелет концепции. Хабр для этого подходит лучше площадок, где автору принято сообщать, что он «поднял важную тему»: здесь быстрее объяснят, в каком месте важная тема не сходится с документацией.

https://habr.com/ru/articles/1070762/

Алгоритмы и Структуры данных

Быстрые и компактные структуры данных для RMQ

Я собрал несколько практических наработок и сделал из них два очень компактных и быстрых варианта:
вариант с  дополнительных бит, которому иногда нужно обращаться к исходному массиву;
вариант с  дополнительных бит, который отвечает на запросы без доступа к исходному массиву.
Обе реализации очень быстры на практике: на случайных запросах по массиву размера  элементов они работают в среднем за – нс на запрос.
Для ориентира: туториал Codeforces по блочному RMQ описывает структуру, которая работает  нс на запрос для массивов длины  с 32-битными целыми числами, при этом используя  дополнительных бит.

https://habr.com/ru/articles/1055008/

Алгоритмы и Структуры данных

Почему интервью для разрабов — такое непроходимое говно, и что с этим делать?

Доброго утречка. Прогреемся?

Мое мнение не отражает позицию какой бы то ни было компании. Все совпадения с вашими нанимающими менеджерами случайны. Мой бывший Director Title в одном из топ-трех русскоговорящих бигтехов никакого отношения к высказанному не имеет и совпадения с ним тоже случайны. Кто захочет — при желании найдет, где и чем я занимался последние 10 лет и почему мое мнение имеет ценность.

Если вы не знали, откуда на собесах для джейсоноукладчиков взялась сортировка пузырьком, сегодня узнаете. Поехали!

https://habr.com/ru/articles/1055116/

Алгоритмы и Структуры данных

Часть II. Начала дискретной математики. SQL, Комбинаторика, Тервер за 15 минут. SQL, EBNF, XPATH в 480 LOC

Для строительства компиляторов, нам нужны начала математики. Из них, как мы убедимся, проистекает добрая половина понимания и всех наших работ.
В частности, без начал не понять лямбда-исчисление Чёрча, которое мы рассмотрим и применим на этапе работы с AST.

https://habr.com/ru/articles/1055010/

Алгоритмы и Структуры данных

📣USB-концентратор

Цена: ~2300₽
Рейтинг: 4.8😀
Отзывы: 2.774 💬

🖱 Заказать

USB-концентратор 11 в 1 поможет расширить возможности компьютера или ноутбука, позволяя одновременно подключать множество периферийных устройств и аксессуаров через один компактный адаптер.

#usb #концентратор

Находки Программиста

Ускоренное построение KNN-индексов в Manticore

Раньше построение KNN-индекса было самым медленным этапом при сохранении и слиянии чанков в таблицах с векторными атрибутами. Начиная с v27.1.5 , Manticore может задействовать несколько ядер CPU при сохранении чанков, слияниях через OPTIMIZE, авто-оптимизации и ALTER TABLE ... REBUILD KNN. На 16-ядерном Ryzen 9 5950X построение KNN-индекса для 1 миллиона 1536-мерных векторов сократилось с 8 минут до 39 секунд.

https://habr.com/ru/articles/1054750/

Алгоритмы и Структуры данных

Управляющие последовательности (ANSI)

В этой серии статей мы погружаемся в возможности языка AutoHotkey на примере вывода цветного текста в терминал для консольной версии Launcher.
Часть 1: Наивный алгоритм и его оптимизация
Часть 2: Управляющие последовательности (вы здесь)
Часть 3: Атомарные регулярные выражения
Часть 4: Декларативное программирование
Часть 5: 256 цветов и стилизация текста
В прошлой части мы переписали алгоритм из рекурсивного в итеративный и ускорили его исполнение почти в 22 раза. Однако в получившемся коде пропала поддержка вложенных цветов. В этой части мы попробуем разобраться, почему это произошло, что такое ANSI коды и как они обрабатываются терминалом.

https://habr.com/ru/articles/1054876/

Алгоритмы и Структуры данных

Применение методов детектирования объектов в задаче долгосрочного прогнозирования событий

Привет, Хабр. Мы — Андрей Савченко — директор по науке, и Иван Карпухин — senior researcher в Sber AI Lab — Центре практического искусственного интеллекта Сбера, расскажем о нашем исследовании, представленном на конференции AAAI 2026.

В сфере искусственного интеллекта за последние десять лет многие самые успешные идеи родились не в какой-то одной предметной области, а на стыке нескольких направлений. Так произошло с трансформерами, которые сначала появились в обработке естественного языка, затем практически полностью изменили компьютерное зрение, а сегодня их используют почти во всех задачах машинного обучения. Похожая ситуация и с долгосрочным прогнозированием последовательностей событий. Неожиданно оказалось, что многие идеи, давно ставшие стандартом в задачах детектирования объектов на изображениях, позволяют принципиально иначе взглянуть на прогнозирование будущих событий.

https://habr.com/ru/companies/sberbank/articles/1054286/

Алгоритмы и Структуры данных

Как создавали нейропоиск Discovery AI — технологию для крупнейшей контентной базы в РФ

Привет! Меня зовут Евгений Астафуров, я ведущий разработчик в Отделе экспериментальных технологий AI VK. Мы разрабатываем Discovery AI — набор ИИ‑технологий для интеллектуального поиска, рекомендаций и взаимодействия с контентом. В него вошли нейропоиск, анализ контекста, персонализация, генеративные модели и рекомендательные алгоритмы, чтобы помогать пользователям находить нужную информацию, получать релевантные ответы и новый контент.

В этой статье подробно разберу архитектуру технологии нейропоиска в Discovery AI, которая объединяет большую языковую модель (LLM), поиск, инференс и данные многомиллиардной контентной базы VK. Технология становится важным компонентом развития рекомендательных и поисковых систем в наших продуктах и будет поэтапно внедряться в сервисы для пользователей, авторов и бизнеса (Дзен, VK, Медиапроекты Mail, VK Видео и другие).

https://habr.com/ru/companies/vk/articles/1054358/

Алгоритмы и Структуры данных

От пульта до полотенца — учим робота искать всё, что угодно

Привет, Хабр! Меня зовут Татьяна Земскова, я аспирантка МФТИ и научный сотрудник команды Embodied Agents лаборатории Cognitive AI Systems AIRI. Областью моих научных интересов является компьютерное зрение для робототехники. Я изучаю, в частности, то, каким образом робот может использовать различные модальности (текст, изображения, сегментационные маски объектов) для лучшего понимания сцены и навигации. 
Желаемыми свойствами современных навигационных систем является их универсальность, минимальность сенсорного сетапа и быстрота принятия решений на борту робота. Сегодня мы поговорим о том, как мы вместе с коллегами (Алексеем Староверовым, Дмитрием Юдиным и Александром Пановым) смогли создать и обучить лёгкую (130М) трансформерную модель, способную доезжать до любых категорий объектов, заданных текстом. Полученный метод описан в свежей работе OVSegDT: Segmenting Transformer for Open‑Vocabulary Object Goal Navigation.
На веб‑странице проекта можно найти ссылку на открытый исходный код с инструкциями по запуску и ссылкой на предварительно обученные веса модели. Это позволяет как воспроизвести наши эксперименты, так и попробовать запустить модель самостоятельно на собственных данных в симуляторе или на реальном роботе. В этом посте мы обсудим основные особенности модели и то, как мы пришли к этому методу.

https://habr.com/ru/companies/airi/articles/1053042/

Алгоритмы и Структуры данных

Задача коммивояжера: обходим 750 точек за 5 сек

Доброго времени суток . Спасибо всем заинтересовавшимся моей статьей. Задача коммивояжёра — одна из самых известных задач комбинаторной оптимизации. Её суть заключается в поиске самого выгодного маршрута, который проходит через указанные города по одному разу с последующим возвратом в исходный город. Уже при небольшом числе городов >20 задача не может быть решена методом перебора вариантов за приемлемое время.

Для решения задачи коммивояжёра существует большое количество методов и алгоритмов, самые распространённые — поисковые алгоритмы. Лидеры среди них — генетические алгоритмы и алгоритмы колонии муравьёв.

Я придумал свой вариант.

В статье «Сравнение производительности генетических алгоритмов и муравьиных алгоритмов применительно к задаче коммивояжера Авторы: Sabry Ahmed Haroun, Benhra Jamal, El Hassani Hicham Лаборатория LISER, ENSEM, UH2C Касабланка, Марокко.» от May 2015. Приводятся результаты тестов. Генетический алгоритм был разработан на C++. Муравьиный алгоритм оптимизации был написан на C#.

https://habr.com/ru/articles/1054280/

Алгоритмы и Структуры данных

Складское броуновское движение: почему хаотичное хранение работает лучше строгой логики

Человеческий мозг настроен на порядок: макароны к макаронам, телевизоры к телевизорам. Это кажется логичным, эффективным и «правильным». Именно так устроены склады без WMS — или, точнее, без продуманного алгоритма размещения. Но крупнейшие в мире фулфилмент-центры работают ровно наоборот. Amazon хранит зубную пасту рядом с книгами и запчастями. Для человека — хаос. Для алгоритма — математически совершенная архитектура.

Этот материал — разбор концепции хаотичного (динамического) адресного хранения (chaotic storage / random storage / scattered storage): как она устроена изнутри, почему работает лучше «логичного» порядка, и как WMS превращает визуальный беспорядок в оптимизированную модель распределения потоков.

https://habr.com/ru/companies/intekey/articles/1053808/

Алгоритмы и Структуры данных

Как мы реализовали оптимальное обучение CV-моделей в Luna Line. Часть 2. Сегментация

И снова здравствуйте! Продолжаю свой рассказ о поиске «универсального рецепта» для обучения моделей в Luna Line. Теперь речь пойдет о сегментации. Если вы пропустили предыдущую публикацию по классификации, то вам лучше начать читать с нее, чтобы не запутаться. 
Дело в том, что когда мы разобрались с классификацией, наша же методология оставила послевкусие неудовлетворенности. Мы задавали себе вопрос: а действительно ли выбранное семейство показывает максимум своих возможностей или мы просто зажали его в рамки единого пайплайна? Для сегментации мы решили действовать иначе.

https://habr.com/ru/companies/mts_ai/articles/1053300/

Алгоритмы и Структуры данных

👩‍💻 Всем программистам посвящается!

Вот 14 авторских обучающих IT каналов по самым востребованным областям программирования:

Выбирай своё направление:

👩‍💻 Python — t.me/python_ready
🤔 InfoSec & Хакинг — t.me/hacking_ready
🖥 SQL & Базы Данных — t.me/sql_ready
👩‍💻 IT Новости — t.me/it_ready
🤖 AI & ML — t.me/neuro_ready
👩‍💻 Frontend — t.me/frontend_ready
👩‍💻 C/C++ — https://t.me/cpp_ready
👩‍💻 C# & Unity — t.me/csharp_ready
👩‍💻 Linux — t.me/linux_ready
👩‍💻 Java — t.me/java_ready
📖 IT Книги — t.me/books_ready
📱 JavaScript — t.me/javascript_ready
🖼️ DevOps — t.me/devops_ready
🖥 Design —t.me/design_ready

📌 Гайды, шпаргалки, задачи, ресурсы и фишки для каждого языка программирования!

Pet-project: мини-библиотека по линейной алгебре

Однажды меня попросили рассказать о своем опыте разработки математических алгоритмов. Так как коммерческий опыт у меня был преимущественно в веб-разработке, то рассказать я мог только об университетском опыте, либо реализовать собственный pet-проект.Я выбрал тему линейной алгебры.

Существовало два варианта реализации проекта: с интерфейсом на Qt либо в виде решения, которое можно использовать в backend-разработке. Я выбрал второй вариант и реализовал небольшую библиотеку.

В ходе разработки мне пришлось ответить на следующие вопросы:

https://habr.com/ru/articles/1051974/

Алгоритмы и Структуры данных

Pet-project: мини-библиотека по линейной алгебре

Однажды меня попросили рассказать о своем опыте разработки математических алгоритмов. Так как коммерческий опыт у меня был преимущественно в веб-разработке, то рассказать я мог только об университетском опыте, либо реализовать собственный pet-проект.Я выбрал тему линейной алгебры.

Существовало два варианта реализации проекта: с интерфейсом на Qt либо в виде решения, которое можно использовать в backend-разработке. Я выбрал второй вариант и реализовал небольшую библиотеку.

В ходе разработки мне пришлось ответить на следующие вопросы:

https://habr.com/ru/articles/1051974/

Алгоритмы и Структуры данных

Программисты рисуют и травят: от штриховой векторизации к офортам Меллана

В этом году у меня прошло три персональных выставки портретов и картин, нарисованных роботами по моим алгоритмам. Во‑первых, это очень тяжело, а, во‑вторых, наверно, пора уже позаботиться о приоритете авторов алгоритма. Статья на Хабре, по уверениям нейросетей, на этом пути необходимый этап.

Мне 72 года. Сижу на даче, никого не трогаю. Зимой программирую алгоритмы, летом конструирую станочки. Как‑то после решения быстро сделать очередной станок типа «полярграф» (два моторчика, рисующих на стене), неожиданно задержался на этой теме на полгода. Пришлось конструировать заново ему гондолы (хороших не нашел) и писать для него весь софт (тут было всё ещё хуже), а добившись от него точности 0.3мм(!), обнаружил, что рисовать‑то нечего. Вот так я и вышел на тему рисования на плоттере, которой и занимаюсь уже несколько лет.

https://habr.com/ru/articles/1051962/

Алгоритмы и Структуры данных

Секреты поиска решений управляемого данными

Если Вы безоговорочный поклонник искусственного интеллекта (Ai) в нынешней его трактовке и не приемлете другие решения, то я бы не рекомендовал читать и комментировать эту статью. Если Вы занимаетесь приложениями для банковской сферы, или для торговли, или создаёте чат-боты общего назначения, то эта статья, скорее всего, будет Вам не интересна. Разработчики игр, так же не найдут в этой статье ничего полезного.

Но, возможно, вы участвуете в проектах связанных с автоматизацией проектирования в машиностроении или создаёте экспертные системы медицинского назначения и тесно взаимодействуете с предметными специалистами (инженерами, технологами, врачами). В таком случае идеи и решения из этой статьи могут пригодиться в Вашей работе. Если же вдруг Вы связаны с преподаванием прикладных дисциплин не связанных с информационными технологиями, то подходы к формализации знаний и созданию прикладных приложений с минимальным привлечением ИТ-специалистов могут Вас заинтересовать и оказаться ещё одним инструментом закрепления знаний наряду с курсовым и дипломным проектированием.

https://habr.com/ru/articles/1051928/

Алгоритмы и Структуры данных

Как двое договариваются о секрете, крича на всю площадь: алгоритм Диффи-Хеллмана без формул

Представьте себе площадь: людную, шумную, и на ней стоят двое, назовем их Алиса и Коля. Им нужно договориться о пароле, но шептаться друг с другом нельзя. А еще вокруг толпа, и в толпе стоит Ева, которая записывает каждое слово. Никаких записок, никаких встреч за кулисами, только крик через всю площадь.
Звучит как безнадежная задача. Все, что Алиса крикнет Коле, услышит и Ева. Любая информация, которая дойдет до Коли, дойдет и до нее. Кажется, что общий секрет в таких условиях невозможен в принципе.
А теперь плохая новость для нашей интуиции: именно это сейчас происходит на вашем устройстве. Когда ваш браузер открывал эту страницу, он буквально прокричал несколько чисел через весь интернет, провайдер их видел, любой узел по дороге их видел, и тем не менее у вас с сервером Хабра появился такой общий секретный ключ, который не знает никто из них. Это и есть протокол Диффи-Хеллмана, придуманный в 1976 году, и он до сих пор в той или иной форме сидит почти в каждом TLS-соединении

https://habr.com/ru/companies/selectel/articles/1050536/

Алгоритмы и Структуры данных