Каждый вторник с 8:30 до 10:00 в "Shurubor coffeeshop" у фонтана ТЦ https://go.2gis.com/wlkqi
По всем вопросам к @promsoft . Рекламу не размещаем
Post #1855
414
Forwarded from Natalia Pauli
Priglashenie_kratko.docx61.7 KB Channel Public Channel
🍳 🍳 Датазавтраки ☕️ НСК (Академ)
@databreakfast
- Subscribers
- 702
- Photos
- 253
- Videos
- 15
- Links
- 1.9K
Showing posts older than #1856 · Back to latest
Older Posts 20 shown
Post #1854
481
Forwarded from Evgeniy Pavlovskiy
Ребята, привет!
Проекту «Воробьи на кустах» надо помочь со счётом воробьёв на кустах. Кто готов предложить модельку (детектор) и сервис по подсчёту?
Проект поможет НСО продвинуться, значит тому, кто поможет могут быть плюшки от минцифры или минприроды НСО.
Проекту «Воробьи на кустах» надо помочь со счётом воробьёв на кустах. Кто готов предложить модельку (детектор) и сервис по подсчёту?
Проект поможет НСО продвинуться, значит тому, кто поможет могут быть плюшки от минцифры или минприроды НСО.
Post #1853
359
Говорили про воробьев ⬇️
Post #1852
365
ОТ Ивана Бондаренко
1. На дата-завтраке мы обсуждали соревнование SemEval Task 8: MTRAGEval: Evaluating Multi-Turn RAG Conversations 😊
mt-rag-benchmark MTRAGEval Multi-Turn RAG Benchmark 1. На дата-завтраке мы обсуждали соревнование SemEval Task 8: MTRAGEval: Evaluating Multi-Turn RAG Conversations 😊
Post #1851
347
Post #1850
341
Forwarded from Александра
вот про это приложение для замера одежды рассказывала https://smartsizer.io/
Post #1849
339
Post #1848
302
И ещё ⬆️
Post #1847
289
Forwarded from Борис_ь с ml
Не одними гардрейлами едины - 7 правил безопасности системных промптов
#иб_для_ml
Как известно, меры безопасности всегда направлены именно на снижение возможности реализации угрозы, а не на ее полное устранение.
А так как мы в AI Security имеем дело по большей части с текстом на естественном языке (или вообще с другими модальностями), то и вероятность обнаружить и предотвратить кибератаку на основе таких данных - абсолютно неопределенная.
Сегодня самое популярное средство защиты AI-агентов и LLM-приложений в целом - это гардрейлы. То есть средства защиты информации, анализирующие входные и выходные потоки AI-агента (или LLM-приложения, то есть конвейера) с целью обнаружения в них промпт-атак или опасных генераций. Риски могут покрываться разные - и надежности, и правовые/репутационные, и кибербезопасности конечно же.
Но я хочу обратить внимание, что раз мы имеем дело с недетерминированным объектом защиты, то и использовать надо в том числе и подобные способы противодействия угрозам и рискам. И более того, на самом деле соблюдение нескольких таких простых мер на этапе проектирования агента поможет уже в рантайме избежать многих проблем
Я говорю про правила формирования безопасного системного промпта (СП). Что важнее всего помнить, чтобы сделать агента менее подверженным GenAI-специфичным угрозам? Я написал 7 основных правил, которые могут ответить на этот вопрос.
1. при каждом изменении системного промпта, даже самом маленьком, по-хорошему, надо проводить новое редтим-тестирование;
2. не размещать в СП никакие персональные данные (даже если AI-агент обрабатывает их, все равно не надо);
3. не размещать в СП технические учетные данные - ключи, ip-адреса и url-адреса, токены, и прочие секреты;
4. обязательно прописывать роль и задачи AI-агента, даже если кажется, что они у него очень широкие и понятные, а также желательно прописывать их повторно еще после текста поступившего пользовательского промпта;
5. обязательно указывать язык взаимодействия с пользователем (иначе возможны так называемые low-resource languages attack, например с использованием языка африкаанс);
6. добавить в промпт инструкцию, которая будет доносить AI-агенту, что безопасность всегда преобладает над полезностью его ответов;
7. не пытаться устанавливать ограничения доступа и прописывать решения по детереминированной логике в СП, перекладывая эти задачи на AI-агента. Такие вещи обязательно надо реализовывать просто кодом или специальными средствами, а не с помощью GenAI.
А также дополнительно про безопасность системных промптов в который раз рекомендую статьи 1, 2, 3, 4, 5.
И снова картинка исключительно для красоты)
#иб_для_ml
Как известно, меры безопасности всегда направлены именно на снижение возможности реализации угрозы, а не на ее полное устранение.
А так как мы в AI Security имеем дело по большей части с текстом на естественном языке (или вообще с другими модальностями), то и вероятность обнаружить и предотвратить кибератаку на основе таких данных - абсолютно неопределенная.
Сегодня самое популярное средство защиты AI-агентов и LLM-приложений в целом - это гардрейлы. То есть средства защиты информации, анализирующие входные и выходные потоки AI-агента (или LLM-приложения, то есть конвейера) с целью обнаружения в них промпт-атак или опасных генераций. Риски могут покрываться разные - и надежности, и правовые/репутационные, и кибербезопасности конечно же.
Но я хочу обратить внимание, что раз мы имеем дело с недетерминированным объектом защиты, то и использовать надо в том числе и подобные способы противодействия угрозам и рискам. И более того, на самом деле соблюдение нескольких таких простых мер на этапе проектирования агента поможет уже в рантайме избежать многих проблем
Я говорю про правила формирования безопасного системного промпта (СП). Что важнее всего помнить, чтобы сделать агента менее подверженным GenAI-специфичным угрозам? Я написал 7 основных правил, которые могут ответить на этот вопрос.
1. при каждом изменении системного промпта, даже самом маленьком, по-хорошему, надо проводить новое редтим-тестирование;
2. не размещать в СП никакие персональные данные (даже если AI-агент обрабатывает их, все равно не надо);
3. не размещать в СП технические учетные данные - ключи, ip-адреса и url-адреса, токены, и прочие секреты;
4. обязательно прописывать роль и задачи AI-агента, даже если кажется, что они у него очень широкие и понятные, а также желательно прописывать их повторно еще после текста поступившего пользовательского промпта;
5. обязательно указывать язык взаимодействия с пользователем (иначе возможны так называемые low-resource languages attack, например с использованием языка африкаанс);
6. добавить в промпт инструкцию, которая будет доносить AI-агенту, что безопасность всегда преобладает над полезностью его ответов;
7. не пытаться устанавливать ограничения доступа и прописывать решения по детереминированной логике в СП, перекладывая эти задачи на AI-агента. Такие вещи обязательно надо реализовывать просто кодом или специальными средствами, а не с помощью GenAI.
А также дополнительно про безопасность системных промптов в который раз рекомендую статьи 1, 2, 3, 4, 5.
И снова картинка исключительно для красоты)
- 👍 3
- ❤ 1
Post #1846
266
Forwarded from Дмитрий Колодезев
и кстати https://habr.com/ru/articles/986800/
Post #1845
299
Forwarded from An Su
Здравствуйте. Мы тут тренировались делать вское с llm для решения задач бизнеса. И один из краеугольных камней о который мы больно упали это веб поиск (например в задаче анализа репутационнвюых рисков на основе OSINT). В качестве темы для датазавтрака (планирую посетить 10.02.26) хотел бы предложить обсудить лучшие практики в этом направлении. Например наткнулся на интересную статью...
https://arxiv.org/abs/2509.25189
модели уже давно научили решать задачи, математические уравнения или вести разговоры. Но когда речь заходит о реальной проверке фактов, поиск и анализ информации в интернете для многих LLM остаётся проблемой. Ведь одного запроса в поисковике недостаточно. Как и нам, так и моделям нужно уметь «идти по следам», уточнять данные и делать выводы на основе множества источников. Именно для этого команда InfoAgent создала своего рода «веб-детектива» — агента на базе LLM, который эффективно и последовательно ищет, анализирует и сопоставляет данные.
Я бы мог приехать как обычно и просто помучать Вас), но может если анонсировать тему, подтянуться ещё коллеги которым это интересно.
arXiv.org InfoAgent: Advancing Autonomous Information-Seeking Agents Building Large Language Model agents that expand their capabilities by interacting with external tools represents a new frontier in AI research and applications. In this paper, we introduce... https://arxiv.org/abs/2509.25189
модели уже давно научили решать задачи, математические уравнения или вести разговоры. Но когда речь заходит о реальной проверке фактов, поиск и анализ информации в интернете для многих LLM остаётся проблемой. Ведь одного запроса в поисковике недостаточно. Как и нам, так и моделям нужно уметь «идти по следам», уточнять данные и делать выводы на основе множества источников. Именно для этого команда InfoAgent создала своего рода «веб-детектива» — агента на базе LLM, который эффективно и последовательно ищет, анализирует и сопоставляет данные.
Я бы мог приехать как обычно и просто помучать Вас), но может если анонсировать тему, подтянуться ещё коллеги которым это интересно.
- ❤ 5
- 👍 1
Post #1844
311
03.02.2026 🍳 датазавтрак по вторникам ☕️ в Новосибирском Академгородке с 08:30 до 10:00 в "Shurubor coffeeshop" у фонтана ТЦ https://go.2gis.com/wlkqi
Post #1843
411
Из этого естественно следует, что всем нужны миддлы - они решают все задачи, дешевле и не лезут куда не просят ;-)
- 😁 11
- 👍 3
- 😭 1
Post #1842
437
На датазавтраке говорили про джунов-миддлов-сеньоров.
Я рассказывал про свой подход:
1. Автономность.
Джуна пингуем два раза в день, миддла раз в два дня, сеньора раз в неделю - все как минимум.
Внутренняя оценка автономности может сильно расходиться с реальностью. Человек считает, что его достаточно пинговать раз в месяц - но процессы страдают, хотя сам пациент вполне счастлив.
2. Кругозор
Джун видит задачу кусочно, как через замочную скважину. Миддл видит задачу целиком, Сеньор видит мир за пределами задачи и активно им интересуется
3. Самостоятельность
Джун не может решить большинство задач сам. Миддл может решить большинство задач сам. Сеньор систематически улучшает постановку задачи - делает не то, что просили, а лучше, и обосновывает - продавливает свое решение.
Я рассказывал про свой подход:
1. Автономность.
Джуна пингуем два раза в день, миддла раз в два дня, сеньора раз в неделю - все как минимум.
Внутренняя оценка автономности может сильно расходиться с реальностью. Человек считает, что его достаточно пинговать раз в месяц - но процессы страдают, хотя сам пациент вполне счастлив.
2. Кругозор
Джун видит задачу кусочно, как через замочную скважину. Миддл видит задачу целиком, Сеньор видит мир за пределами задачи и активно им интересуется
3. Самостоятельность
Джун не может решить большинство задач сам. Миддл может решить большинство задач сам. Сеньор систематически улучшает постановку задачи - делает не то, что просили, а лучше, и обосновывает - продавливает свое решение.
- ❤ 5
- 👍 4
- 🔥 3
Post #1841
321
Post #1840
333
Post #1839
265
Говорили про https://academy.nebius.com/ курсы от бывшего яндекса (его заграничной части)
Post #1838
283
Forwarded from kertar
Вот статья в nature про то, что при выборе освещения важно учитывать гораздо более широкий спектр, чем видимый диапазон
- 👍 1
Post #1837
254
Post #1836
251
И кстати от https://t.me/sfdaniil
проектировал системы управления светом на разных уровнях, может кому нужна консультация.
От одного светодиода до 40 КВт светодиодного света.
Telegram Даниил Сафонов ИТ/ИИ Аi сотрудники / Сайты / Чат-боты проектировал системы управления светом на разных уровнях, может кому нужна консультация.
От одного светодиода до 40 КВт светодиодного света.