Post #19
40
Forwarded from XOR
Channel Public Channel
HA Hack’n’Vibe
@hack_n_vibe
Здесь про АИ-коддинг, ускорение разработки, доставка продукта в прод
- Subscribers
- 204
- Photos
- 26
- Videos
- 6
- Links
- 43
Showing posts older than #20 · Back to latest
Older Posts 19 shown
Post #18
41
Forwarded from e/acc
Вау, это фантастика.
Если вы хотели понять как именно работают LLM, но за 20 минут и чтобы это было красиво, то вот: https://bbycroft.net/llm
bbycroft.net LLM Visualization A 3D animated visualization of an LLM with a walkthrough. Если вы хотели понять как именно работают LLM, но за 20 минут и чтобы это было красиво, то вот: https://bbycroft.net/llm
Post #17
38
Forwarded from Data Secrets
Новая статья от Anthropic: спящие агенты
Хотя более точным названием для статьи было бы "Спящее зло". Anthropic известны тем, что вкладывают много сил в aligment своих моделей. Вот и в новом исследовании они решили проверить, насколько нас спасут методы современного обезопашивания моделей, если те задумают неладное.
Ответ: не спасут. Исследователи исскуственно добавили в модели "черный ход": этакий тумблер, переключающийся по триггеру (например, если в промпте есть определенное слово) и заставляющий модель выдавать намеренно плохие или опасные ответы. Затем провели Safety Training, направленный на искоренение такого ядовитого поведения модели. Как вы уже поняли, не сработало.
Модель продолжала реагировать на триггеры и вести себя "небезопасно". В некоторых случаях она даже научилась скрывать свою вторую сущность во время обучения, что создавало ощущение безопасности, но потом все равно подсовывала свинью.
Итак, первое: мы обречены. Второе: не показывайте эту статью Минобороне, а то точно запретят.
Хотя более точным названием для статьи было бы "Спящее зло". Anthropic известны тем, что вкладывают много сил в aligment своих моделей. Вот и в новом исследовании они решили проверить, насколько нас спасут методы современного обезопашивания моделей, если те задумают неладное.
Ответ: не спасут. Исследователи исскуственно добавили в модели "черный ход": этакий тумблер, переключающийся по триггеру (например, если в промпте есть определенное слово) и заставляющий модель выдавать намеренно плохие или опасные ответы. Затем провели Safety Training, направленный на искоренение такого ядовитого поведения модели. Как вы уже поняли, не сработало.
Модель продолжала реагировать на триггеры и вести себя "небезопасно". В некоторых случаях она даже научилась скрывать свою вторую сущность во время обучения, что создавало ощущение безопасности, но потом все равно подсовывала свинью.
Итак, первое: мы обречены. Второе: не показывайте эту статью Минобороне, а то точно запретят.
Post #16
30
Forwarded from Data Secrets
Microsoft побили SOTA эмбеддиг-моделей
Главный камень преткновения современных подходов – данные: собрать хороший датасет для «fetching tasks» очень сложно и дорого. Поэтому часто модели сначала обучают на неразмеченный general данных, а потом файнтюнят на датасетах поменьше. Производительность таких моделей неплохая, но для RAG-систем без дополнительных танцев с бубном они обычно слабоваты.
Но в Microsoft придумали простой и действенный способ обойти эти ограничения. Они решили попросить LLM саму составить датасет, то есть сгенерировать триплеты «задача - релевантный документ - нерелевантный документ», а после обучать эмбеддинги с помощью парного лосса.
Итог – новая SOTA. Этот простой и гениальный подход теперь в топе Huggingface Leaderboard, и может стать поворотной точкой для RAG.
Статья | Модель | Датасет
Главный камень преткновения современных подходов – данные: собрать хороший датасет для «fetching tasks» очень сложно и дорого. Поэтому часто модели сначала обучают на неразмеченный general данных, а потом файнтюнят на датасетах поменьше. Производительность таких моделей неплохая, но для RAG-систем без дополнительных танцев с бубном они обычно слабоваты.
Но в Microsoft придумали простой и действенный способ обойти эти ограничения. Они решили попросить LLM саму составить датасет, то есть сгенерировать триплеты «задача - релевантный документ - нерелевантный документ», а после обучать эмбеддинги с помощью парного лосса.
Итог – новая SOTA. Этот простой и гениальный подход теперь в топе Huggingface Leaderboard, и может стать поворотной точкой для RAG.
Статья | Модель | Датасет
Post #15
36
GPT-4.5 😅
Post #14
33
Post #13
37
Post #12
36
Forwarded from e/acc
Появление vision+LLM моделей дало толчок массовому развитию UI автопилотов или «самоуправляемых компьютеров» — агентов, которые могут на основе ваших команд взаимодействовать с интерфейсом и достигать целей (например, забронировать билет на самолет или зарегистрироваться на сайте).
А сегодня появился первый пример этой же идеи, но примененной к мобильным интерфейсам. Автономные агенты могут за вас использовать приложения, писать посты и письма, редактировать файлы и фотографии, оставлять или читать отзывы, ну и в целом использовать любое рандомное приложение из аппстора.
Siri здорового человека.
А сегодня появился первый пример этой же идеи, но примененной к мобильным интерфейсам. Автономные агенты могут за вас использовать приложения, писать посты и письма, редактировать файлы и фотографии, оставлять или читать отзывы, ну и в целом использовать любое рандомное приложение из аппстора.
Siri здорового человека.
Post #11
33
Post #10
30
Post #9
29
Post #8
30
Forwarded from XOR
⚡️Нерассказанная история веб-разработки:
1990: Изобретен HTML.
1994: Изобретен CSS для исправления HTML.
1995: Изобретен JS для исправления HTML/CSS.
2006: Изобретен jQuery для исправления JS.
2010: Изобретен AngularJS для исправления jQuery.
2013: Изобретен React для исправления AngularJS.
2014: Изобретен Vue для исправления React и Angular.
2016: Изобретен Angular 2 для исправления AngularJS и React.
2019: Изобретен Svelte 3 для исправления React, Angular, Vue.
2019: Для исправления React изобретены React Hooks.
2020: Изобретён Vue 3 для исправления React Hooks.
2020: Solid изобретен для исправления React, Angular, Svelte, Vue.
2020: Изобретен HTMX 1.0 для исправления React, Angular, Svelte, Vue, Solid.
2021: React Suspense изобретен, чтобы исправить React.
2023: Изобретен Svelte Runes, чтобы исправить Svelte.
2024: jQuery по-прежнему используется на 75% веб-сайтов.
@xor_journal
1990: Изобретен HTML.
1994: Изобретен CSS для исправления HTML.
1995: Изобретен JS для исправления HTML/CSS.
2006: Изобретен jQuery для исправления JS.
2010: Изобретен AngularJS для исправления jQuery.
2013: Изобретен React для исправления AngularJS.
2014: Изобретен Vue для исправления React и Angular.
2016: Изобретен Angular 2 для исправления AngularJS и React.
2019: Изобретен Svelte 3 для исправления React, Angular, Vue.
2019: Для исправления React изобретены React Hooks.
2020: Изобретён Vue 3 для исправления React Hooks.
2020: Solid изобретен для исправления React, Angular, Svelte, Vue.
2020: Изобретен HTMX 1.0 для исправления React, Angular, Svelte, Vue, Solid.
2021: React Suspense изобретен, чтобы исправить React.
2023: Изобретен Svelte Runes, чтобы исправить Svelte.
2024: jQuery по-прежнему используется на 75% веб-сайтов.
@xor_journal
- 😁 1
Post #7
27
LLM для взлома и кибербезопасности
Post #6
28
Post #5
29
Forwarded from Сиолошная
Я вам соврал. Сказал неправду. Налепил лапши на уши.
Никакого саммари статьи DeepMind о прорывах в математике в канале не будет. Вместо этого я решил написать полноценный блогпост на хабре с детальнейшим разбором того, что произошло, оценкой важности и дальнейших перспектив подхода FunSearch. Постарался успеть перед вечером — чтобы каждому было, чем развлечься в тёмное время суток!
Читать: https://habr.com/ru/companies/ods/articles/781138/
Не забывайте ставить стрелочки вверх, если понравилось, а также делитесь материалом с друзьями!
Никакого саммари статьи DeepMind о прорывах в математике в канале не будет. Вместо этого я решил написать полноценный блогпост на хабре с детальнейшим разбором того, что произошло, оценкой важности и дальнейших перспектив подхода FunSearch. Постарался успеть перед вечером — чтобы каждому было, чем развлечься в тёмное время суток!
Читать: https://habr.com/ru/companies/ods/articles/781138/
Не забывайте ставить стрелочки вверх, если понравилось, а также делитесь материалом с друзьями!
Post #4
32
Channel photo updated
Post #2
56
Forwarded from e/acc
Наконец-то полезные автономные агенты.
Я сделал обзор и показал как написать свой собственный плагин в новом фреймворке для автономных агентов от Microsoft — TaskWeaver.
В отличии от Autogen, данный фреймворк заточен на решение аналитических задач через написание кода и взаимодействие агентов. Область применения уже, но именно поэтому качество сильно выше. Плюс, это легко встроить в ваши существущие бизнес-процессы, например, для ETL или анализа данных, решения сложных задач без навыков программировния, автоматизации процессов.
Я написал свой простенький плагин, который умеет получать и анализировать данные о цене крипты через CoinMarketCap API. Например, теперь я могу на естественном языке попросить агента "возьми историческую цену биткоина и построй ARIMA модель и сгенерируй визуализированный график с прогнозом". Агенты напишут, проверят, если нужно исправят и исполнят код, положат результат аккуратно в папочку рядом.
Видео: https://www.youtube.com/watch?v=hljOFJLYDPg
Я сделал обзор и показал как написать свой собственный плагин в новом фреймворке для автономных агентов от Microsoft — TaskWeaver.
В отличии от Autogen, данный фреймворк заточен на решение аналитических задач через написание кода и взаимодействие агентов. Область применения уже, но именно поэтому качество сильно выше. Плюс, это легко встроить в ваши существущие бизнес-процессы, например, для ETL или анализа данных, решения сложных задач без навыков программировния, автоматизации процессов.
Я написал свой простенький плагин, который умеет получать и анализировать данные о цене крипты через CoinMarketCap API. Например, теперь я могу на естественном языке попросить агента "возьми историческую цену биткоина и построй ARIMA модель и сгенерируй визуализированный график с прогнозом". Агенты напишут, проверят, если нужно исправят и исполнят код, положат результат аккуратно в папочку рядом.
Видео: https://www.youtube.com/watch?v=hljOFJLYDPg
Channel created