TGViewer
Channel Public Channel
Data Science: Алгоритмы и Структуры данных

Data Science: Алгоритмы и Структуры данных

@structuredata

Мы не претендуем на оригинальность контента, мы лишь собираем материал из открытых источников.

Ссылка: @Portal_v_IT

Сотрудничество, авторские права: @oleginc, @tatiana_inc

Канал на бирже: https://telega.in/c/structuredata
Subscribers
7.64K
Photos
475
Videos
46
Links
3.4K

Showing posts older than #4663 · Back to latest

Older Posts 20 shown
Post #4662 547
Помочь пользователю открыть новое: как мы боролись с замкнутым кругом рекомендаций в Яндекс Лавке

Хорошая рекомендательная система быстро учится угадывать, что вы положите в корзину. И чем точнее она угадывает, тем реже показывает что‑то незнакомое: ведь выгоднее предлагать проверенное. Со временем система замыкается на привычках человека и перестаёт показывать ему хоть что‑то за их пределами.

https://habr.com/ru/companies/yandex/articles/1051044/

Алгоритмы и Структуры данных
Post #4661 613
48-кубитный гибридный симулятор Гровера на домашней видеокарте: пробиваем стены памяти и времени

Вокруг квантовых вычислений много маркетингового шума. Если вы попытаетесь смоделировать честное 48-кубитное квантовое состояние в комплексном базисе complex128, то неизбежно упретесь в «стену памяти» в 4.5 Петабайта. Если же вы решите применить блочную декомпозицию пространства состояний для ее поочередного обсчета, то упретесь в «стену времени» длиною в несколько лет непрерывных вычислений на GPU.

В этой статье мы разберем проект гибридного симулятора, который обходит обе стены, удерживая потребление видеопамяти в пределах 268 МБ, а время симуляции сокращает в 400 раз.

Давайте сразу снимем маски: физически данный симулятор не удерживает 48 кубитов в единой суперпозиции. Между старшей и младшей половиной регистра полностью отсутствует квантовая запутанность (entanglement).

https://habr.com/ru/articles/1043474/

Алгоритмы и Структуры данных
Post #4660 544
⚡️В России запустили первую онлайн-магистратуру по искусственному интеллекту

Её создали Университет Иннополис и Зерокодер, обучивший работе с ИИ более 15 000 человек. Для рынка это большой прорыв – раньше такой программы просто не было.

Что даёт магистратура лично вам:

- Вы запускаете собственный ИИ-продукт за время учёбы – он же становится дипломной работой;
- Осваиваете ИИ, no-code и вайб-кодинг без программирования, техническая база не нужна;
- Получаете диплом магистра государственного образца и отсрочку от армии;
- Учитесь онлайн из любого города, без отрыва от работы;
- Попадаете в среду практиков: основатели, венчурные инвесторы, выпускник Y Combinator; практика – в Т-Банке, Яндексе, Сбере.

Программа платная. Но чтобы разобраться, подходит ли она вам, поступать прямо сейчас не нужно.

7 июля в 13:00 МСК пройдёт бесплатный День открытых дверей
. На нём выпускники и студенты лично расскажут, как собрали свои продукты – среди них вирусный ИИ-сервис и B2B-платформа, которой уже пользуются 70 компаний. Приёмная комиссия ответит на ваши вопросы и разберёт детали поступления.

Никаких обязательств: приходите, узнайте и оцените возможности – для этого День открытых дверей и проводится.

Мест на потоке осталось всего 9, к августу их не останется вовсе. Поэтому анонсируем заранее – разберитесь 7 июля.

Регистрация бесплатная по ссылке.
Post #4659 591
Как шахматный подход помог разобраться с фотолентой Яндекс Диска

Когда вы загружаете фотографии на Яндекс Диск, они не просто лежат в облаке: ML‑модели анализируют снимки, группируют их в альбомы и выбирают хайлайты для фотоленты в Яндекс Диске. Но чтобы улучшать такую систему, нужно уметь измерять качество её работы. И здесь начинается проблема: модель выбирает «красивые» и «удачные» кадры, а эстетика — вещь субъективная. Одному важны насыщенные цвета, другому — композиция, третьему — эмоции и лица в кадре. Если попросить асессоров ставить оценки от 1 до 10, мы быстро получим не объективную шкалу, а смесь личных вкусов, разной строгости и шума.

Поэтому мы подошли к задаче не как к обычной разметке, а как к исследованию. Вместо абсолютных оценок использовали шахматный подход. Каждая фотография стала «игроком», который соревнуется с другими по 16 признакам эстетики — цветам, фокусу, геометрии, эмоциональности и другим параметрам. Это позволило получить не просто рейтинг кадров, а инструмент для анализа того, какие визуальные признаки учитывают ML‑модели Диска.

Всем привет! Я Всеволод Мещеряков из службы разметки Yandex Crowd Solutions. Мы собираем и размечаем фото, видео, тексты — в общем, готовим данные, на которых учатся ML‑модели. В этой статье расскажу, как подход из мира шахмат помог нам связать субъективное восприятие фотографий с математическими оценками и сделать фотоленту Яндекс Диска ещё красивее.

https://habr.com/ru/companies/yandex/articles/1042040/

Алгоритмы и Структуры данных
Post #4657 531
Шахматные программы VIII. Заключение

Итак, мы подробно рассмотрели в статье, как работают важнейшие составляющие реальной шахматной программы по отдельности и вместе. Пора подвести некоторые итоги, сделать выводы, и попытаться оценить будущие перспективы.

https://habr.com/ru/articles/1040238/

Алгоритмы и Структуры данных
Post #4656 556
Джим Саймонс и Medallion: что инженер рынка может вынести из истории величайшего quant-фонда

Математик, криптограф, создатель стратегии «чёрного ящика» — разбор принципов, которые работали 35 лет, и того, что остаётся загадкой

Человек, который обыграл рынок на десятилетия
10 мая, в возрасте 86 лет умер Джим Саймонс, создатель Renaissance Technologies — одного из самых прибыльных хедж-фондов в истории. Его состояние оценивается в $31,4 млрд, 55-е место в рейтинге Forbes. Аналитики Уолл-стрит до сих пор не смогли разгадать главный секрет успеха самого прибыльного фонда Саймонса — Medallion.

Для создателей стратегий и алготрейдеров это не просто новость. Это повод задать вопрос: что именно делал Medallion и можно ли из этого извлечь практические уроки для собственных систем?

https://habr.com/ru/companies/finam_broker/articles/1046616/

Алгоритмы и Структуры данных
Post #4655 623
Деградируешь со своей нейронной сетью?

Ну что, Великий Вайбкодер, сколько тысяч строк кода ты сегодня уже успел сгенерировать? Небось сдал 5 проектов за вчерашний вечер на трёх параллельных работах?

А думал ли ты, кем станешь ты и такие как ты через 10 лет?

Может, всё-таки «Идиократия» ближе, чем кажется? Давайте погадаем немного на лавандовом рафе и прикинем, что же всё-таки произойдёт уже в ближайшем будущем.

https://habr.com/ru/articles/1043136/

Алгоритмы и Структуры данных
Post #4654 572
Избегаем парадокса пестицида, или Как мы внедрили систему рекомендаций «забытых» тест‑кейсов

Регрессионное тестирование часто опирается на один и тот же набор сценариев, и со временем это превращается в проблему: привычные проверки перестают находить новые дефекты, а часть функциональности надолго выпадает из поля зрения команды. Возникает так называемый парадокс пестицида — снижение эффективности неизменных тестовых сценариев с течением времени. Название возникло по аналогии с сельскохозяйственными вредителями, которые вырабатывают устойчивость к постоянно применяемым веществам.

Меня зовут Александра Атаман, я QA‑инженер в команде веба Яндекс Такси. В этой статье я расскажу, как мы оптимизировали процесс формирования регрессионного тестирования для ручного прогона, внедрив систему весов для тест‑кейсов. Этот подход помогает прицельно отбирать наиболее «опасные» сценарии: самые старые, забагованные или потенциально проблемные.

Я поделюсь техническими деталями реализации, логикой распределения весов и результатами нашего эксперимента. Спойлер: ожидания не во всём совпали с реальностью — но именно этот опыт оказался для нас самым ценным.

https://habr.com/ru/companies/yandex/articles/1040612/

Алгоритмы и Структуры данных
Post #4653 548

Forwarded from The Экономист

Сбер отмечает постепенное оживление спроса на кредиты на фоне снижения ключевой ставки. При этом банк сохраняет прогноз по росту корпоративного кредитования в 2026 году на уровне 10–12%, заявил на Финконгрессе Банка России первый зампред правления Сбера Александр Ведяхин. В мае корпоративный кредитный портфель банка сократился примерно на 300 млрд рублей, при этом около половины снижения пришлось на валютную переоценку.

🤑 The Экономист
Post #4652 581
Проблема 3x+1: Задача для школьника, которая сломала величайших математиков

Представьте себе математическую задачу, условия которой можно объяснить восьмилетнему ребенку ровно за тридцать секунд. А теперь представьте, что эта же самая задача десятилетиями заставляет сдаваться величайших математиков современности. Звучит как преувеличение, но это реальность гипотезы Коллатца, которую чаще называют проблемой «3x+1».
Эта задача оказалась настолько неприступной, что один из самых выдающихся умов XX века, математик Пауль Эрдёш, однажды прямо заявил: «Математика еще не созрела для таких задач». Желая хоть как-то сдвинуть дело с мертвой точки, он предложил 500 долларов из собственного кармана тому, кто сможет ее доказать или опровергнуть. Спойлер: эта премия до сих пор остается невостребованной.
На первый взгляд, это всего лишь безобидная игра с простейшим делением и умножением. Но на деле проблема 3x+1 доказывает поразительную вещь: за самыми элементарными арифметическими правилами может скрываться абсолютно непредсказуемый хаос и бесконечная сложность.

https://habr.com/ru/articles/1042976/

Алгоритмы и Структуры данных
Post #4651 454
Искусство создания дорог в играх

Не знаю, только ли мне это свойственно, но я испытываю какой-то первобытную радость, когда вижу сложные паттерны, возникающие из сред, кажущихся хаотичными.

Представьте галереи колоний муравьёв, невероятно идеальные шестиугольники пчелиных сот или прожилки листьев. Никаких архитекторов или чертежей, лишь набор простых правил, приводящий к созданию великолепных узоров. Не знаю почему, но наблюдение за такими структурами всегда вызывает положительные ощущения.

Люди тоже их создают. Для меня один из самых удивительных паттернов, которые мы придумали — это дороги.

Иногда я представляю инопланетян из далёких галактик, которые откроют Землю уже спустя много времени после нашего ухода. Леса, снова занятые природой, города, превратившиеся в развалины; однако между ними всё равно заметен слабый паттерн — сеть дорог. Мне нравится думать, что они будут чувствовать то же самое, что и я, когда смотрю на природные паттерны: «Ого, кто-то действительно это продумал».

Не знаю, только ли мне это свойственно, но я испытываю какой-то первобытную радость, когда вижу сложные паттерны, возникающие из сред, кажущихся хаотичными.

Представьте галереи колоний муравьёв, невероятно идеальные шестиугольники пчелиных сот или прожилки листьев. Никаких архитекторов или чертежей, лишь набор простых правил, приводящий к созданию великолепных узоров. Не знаю почему, но наблюдение за такими структурами всегда вызывает положительные ощущения.

Люди тоже их создают. Для меня один из самых удивительных паттернов, которые мы придумали — это дороги.

Иногда я представляю инопланетян из далёких галактик, которые откроют Землю уже спустя много времени после нашего ухода. Леса, снова занятые природой, города, превратившиеся в развалины; однако между ними всё равно заметен слабый паттерн — сеть дорог. Мне нравится думать, что они будут чувствовать то же самое, что и я, когда смотрю на природные паттерны: «Ого, кто-то действительно это продумал».

Не знаю, только ли мне это свойственно, но я испытываю какой-то первобытную радость, когда вижу сложные паттерны, возникающие из сред, кажущихся хаотичными.

Представьте галереи колоний муравьёв, невероятно идеальные шестиугольники пчелиных сот или прожилки листьев. Никаких архитекторов или чертежей, лишь набор простых правил, приводящий к созданию великолепных узоров. Не знаю почему, но наблюдение за такими структурами всегда вызывает положительные ощущения.

Люди тоже их создают. Для меня один из самых удивительных паттернов, которые мы придумали — это дороги.

Иногда я представляю инопланетян из далёких галактик, которые откроют Землю уже спустя много времени после нашего ухода. Леса, снова занятые природой, города, превратившиеся в развалины; однако между ними всё равно заметен слабый паттерн — сеть дорог. Мне нравится думать, что они будут чувствовать то же самое, что и я, когда смотрю на природные паттерны: «Ого, кто-то действительно это продумал».

Не знаю, только ли мне это свойственно, но я испытываю какой-то первобытную радость, когда вижу сложные паттерны, возникающие из сред, кажущихся хаотичными.

Представьте галереи колоний муравьёв, невероятно идеальные шестиугольники пчелиных сот или прожилки листьев. Никаких архитекторов или чертежей, лишь набор простых правил, приводящий к созданию великолепных узоров. Не знаю почему, но наблюдение за такими структурами всегда вызывает положительные ощущения.

Люди тоже их создают. Для меня один из самых удивительных паттернов, которые мы придумали — это дороги.

Иногда я представляю инопланетян из далёких галактик, которые откроют Землю уже спустя много времени после нашего ухода. Леса, снова занятые природой, города, превратившиеся в развалины; однако между ними всё равно заметен слабый паттерн — сеть дорог. Мне нравится думать, что они будут чувствовать то же самое, что и я, когда смотрю на природные паттерны: «Ого, кто-то действительно это продумал».

https://habr.com/ru/articles/1040826/

Алгоритмы и Структуры данных
Post #4650 511
Сидеть и работать в корпорации — страшно, жизнь-то мимо проходит. Уходить строить бизнес — страшно, а вдруг прогорит. Один из вариантов — разрабатывать свой пет-проект по вечерам. Многие успешные компании, например, Twitter, создавались именно так. Это не значит, что ваш проект обязательно заработает миллиарды, но заработать больше, чем в найме, и получить ценный опыт — вполне реально.

Перед началом разработки появляется множество вопросов, например:

– Как выбрать идею для пет-проекта?
– Что нужно знать про маркетинг?
– Как запуститься и довести до первых продаж не имея бюджета на рекламу?

В телеграм-канале «Твой пет проект», Михаил Табунов делится своим опытом с разработчиками и менеджерами.

Он рассказывает, где искать идею для нового проекта, что нужно знать о маркетинге, как запустить стартап и привлечь первых 10 клиентов, а также о многих других важных вещах.

Подписывайтесь на «Твой пет проект», получайте пользу от практиков рынка!

Реклама. ИП Табунов Михаил Валерьевич ИНН 773379585100. erid: 2Vtzqw5HMMB
Telegram Твой пет проект Канал про то, как создать свой маленький свечной заводик Пишу про: - Запуски и как сделать первые 10 продаж - Прожарка идей - Кейсы роста и ведения проекта параллельно с работой Автор - Михаил Табунов - @bossofyourboss Связь @to_baza_education
Post #4649 554
Как мы четыре раза неправильно чинили мерцание при рендеринге 4,4 миллиона полигонов на wgpu

Уже год мы небольшой командой пишем на Rust + wgpu редактор топологий интегральных схем — что-то вроде KLayout, только с прицелом на российский рынок. Команда — три человека. Я в роли CTO направляю архитектуру и принимаю основные технические решения. История ниже — про одну такую серию решений, которую я завёл в тупик четыре раза подряд, прежде чем мы поняли, в чём была ошибка.
Тестовый дизайн у нас — Caravel SkyWater SKY130, открытый чип на ~4,4 миллиона полигонов, 1014 уникальных ячеек и 22 уровня иерархии. Полный GDS-файл — 278 МБ.
Первая попытка отрендерить это на экране показала: всё работает, всё на месте. Только мерцает. Не «иногда подёргивается» — а так, что смотреть невозможно. Любой zoom или pan превращал картинку в стробоскоп: половина чипа есть, половина пропала, через кадр — наоборот.
Дальше — история про то, как мы четыре раза по-разному пытались это починить, и как пятая попытка наконец заработала. Если у кого-то такой же случай — может, сэкономлю недели две.

https://habr.com/ru/articles/1042962/

Алгоритмы и Структуры данных
Post #4648 554
Ускоряем в 10+ раз вычисление расстояния Хаусдорфа на упорядоченных контурах

Как-то, при имплементации на C++ нового алгоритма поиска дефектов, возникла потребность оптимизации вычисления расстояния Хаусдорфа между контурами. Контуры представляли собой упорядоченные точки, полученные из бинарной картинки. Необходимо было выделить кластеры похожих контуров с минимальным расстоянием Хаусдорфа.  
Прежде чем перейти к разработанной мной оптимизации, вспомним, что представляет собой алгоритм вычисления расстояния Хаусдорфа и его известные оптимизации.

https://habr.com/ru/articles/1042704/

Алгоритмы и Структуры данных
Post #4647 568
Юридические коллизии внутренних регламентов IRecommend и федерального законодательства об авторском праве

Уже при самом беглом прочтении этого локального акта (Правилам пользования сайтом IRecommend) я заметил весьма примечательную особенность — скрытые внутренние противоречия документов платформы, а также их несоответствие федеральному законодательству, в частности, Гражданскому кодексу РФ (далее — ГК РФ) и Закону «О защите прав потребителей» (далее — ЗоЗПП). Более углублённый анализ локальных актов IRecommend.ru показал, что поскольку площадка стремится максимально защитить свои интересы, то её внутренние регламенты содержат несколько жёстких юридических коллизий, которые регулярно становятся предметов споров между авторами контента и администрацией ресурса.

https://habr.com/ru/articles/1042698/

Алгоритмы и Структуры данных
Post #4646 583
Автоматический отбор few_shot примеров для обучения модели

Нормализация справочников НСИ - головная боль аналитиков: в базе десятки тысяч записей, и каждая будто создана по своим правилам. И это еще не все трудности: в базе полно дублей, форматы данных пляшут, в полях то лишние символы, то транслитерация, то опечатки от ручного ввода. Мы не раз сталкивались с этим в своих проектах.

Решений хватает, но мы остановили выбор на LLM. Модель хорошо справляется с разбором неструктурированных строк на атрибуты, если правильно её настроить. Однако на практике мы столкнулись с тем, что успех LLM-нормализации на 90% определяется качеством few-shot примеров. Чем набор примеров репрезентативнее, тем стабильнее результат. Но как найти те самые, хорошие примеры в огромной массе разнородных записей? Вручную, особенно не имея достаточной экспертизы, проводить глубокий анализ трудоемко и неэффективно. Поэтому мы решили пойти другим путём - автоматизировать подбор.

В этой статье мы разберем два подхода к автоматизации процесса подбора примеров для обучения, проверим их на реальных данных и выясним, какой из них и в каких условиях работает лучше. Посмотрим, что нам покажут «автоматические эксперты».

https://habr.com/ru/articles/1042468/

Алгоритмы и Структуры данных
Post #4645 576
Эволюция 'More Like This'

Во многих поисковых сценариях пользователь начинает не с пустой строки запроса, а с существующего результата.
Пользователь открывает статью и хочет найти похожие материалы. Покупатель просматривает карточку товара и ищет близкие варианты. Инженер поддержки разбирает инцидент и хочет увидеть прошлые случаи с теми же симптомами. Во всех этих ситуациях у пользователя уже есть релевантный документ для начала поиска.
Этот сценарий традиционно называют More Like This (MLT): функцией поиска документов, похожих на выбранный. В статье под MLT понимается поиск от уже известного документа, а не от заново введённого запроса.

https://habr.com/ru/articles/1042190/

Алгоритмы и Структуры данных
Post #4644 617
Четыре простых шага до изделия: использование проектирования на основе моделей для программно-определяемых радиосистем 4

В предыдущих частях этой серии статей мы рассказали о платформе быстрого прототипирования Zynq SDR1, представили этапы использования MATLAB и Simulink для разработки алгоритма, который может успешно обрабатывать и декодировать передачи ADS-B2, а также показали, как проверить алгоритм как в симуляторе, так и с помощью реальных данных, полученных с платформы SDR3. Конечная цель всех этапов — создать проверенную модель, которую можно преобразовать в код на языках C и HDL и интегрировать в программно-аппаратную инфраструктуру платформы SDR.

Модель Simulink, о которой шла речь во второй части серии статей («Обнаружение и декодирование Mode S с помощью MATLAB и Simulink»)2, представляет собой имитационную модель, достаточно точно воспроизводящую аппаратное обеспечение, чтобы убедиться, что система успешно декодирует сообщения ADS-B. В этой статье мы рассмотрим последние шаги, необходимые для создания работающего приёмника на платформе быстрого прототипирования Zynq SDR. Как и в предыдущих статьях этой серии, для разработки этого рабочего проекта необходимы следующие навыки: владение MATLAB и Simulink, знание радиооборудования Zynq, а также навыки интеграции программного и аппаратного обеспечения.

https://habr.com/ru/articles/1026632/

Алгоритмы и Структуры данных
Post #4642 589
Как мы боремся с галлюцинации AI Master: гибридный Guard на Embedding + LLM Extractor на примере AI-RPG «Стирая Грань»

Каждый, кто пробовал создавать текстовые RPG или симуляторы на базе LLM (будь то GPT-4, DeepSeek или локальная 70B), сталкивался с проблемой «Yes-And» проклятия. По своей природе современные языковые модели — это идеальные импровизаторы. Они обучены поддакивать пользователю и развивать его мысль.
В контексте игры это превращается в легальные читы. Игрок пишет: «Я достаю из кармана дымовую шашку и кидаю в охрану» или «Вообще-то я полковник ФСБ, пропустите». Что делает классический AI GM? Он послушно кивает: «Охрана кашляет в дыму, вы проходите», даже если по Game State игрок — бродяга в одних трусах, у которого в инвентаре только ржавый гвоздь.

https://habr.com/ru/articles/1042402/

Алгоритмы и Структуры данных
Post #4641 588
Масштабируемость ML-алгоритмов при увеличении вычислительных ресурсов

Говоря о машинном обучении, нейронных сетях и тому подобному, у многих появляется ассоциация с мощным железом, огромными вычислительными мощностями и невероятным количеством денег. На практике — многие ML (и не только) алгоритмы завязаны далеко не на тупой мощи вычислительной машины. Часть из них действительно ускоряется (и даже в разы) при добавлении ресурсов, другие — не реагируют, а некоторые могут даже создать лишние расходы и потерять в скорости.

В данной статье будет рассмотрено 5 разных алгоритмов машинного обучения, с наглядным сравнением их скорости работы на разных аппаратных ресурсах.

https://habr.com/ru/articles/1042254/

Алгоритмы и Структуры данных
Older posts →
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →