AI4Dev — AI for Development

В этот четверг, 12 декабря, в 12:00 доктор технических наук Владимир Крылов расскажет о нейропсихологии LLM! Сравним одну из новых теорий человеческого разума с последними исследованиями в области больших языковых моделей.

На лекции обсудим, как экспериментально изучают LLM в качестве объектов, проявляющих сознание:
🟠Какие инструменты играют роль энцефалографа?
🟠Как проводят "глубокую стимуляцию мозга" больших языковых моделей?

Вы узнаете об ахиллесовой пяте LLM и их удивительных поведенческих реакциях. Подключайтесь!

"Как аннотировать тексты с помощью ML, если ресурсы ограничены?" — лекция директора центра разработки Artezio Леонида Лифшица на нашем YouTube-канале.

В лекции обсуждаем:
🟣классификацию задач по аннотированию тестов;
🔵основные подходы в условиях ограничения ресурсов;
🟣суммаризацию англоязычных и русскоязычных текстов;
🔵Text2Speech модели и ресурсы для локального развертывания моделей.

➡️ Лекция есть в виде подкаста.

"Мир - это текст? Всё ли могут знать LLM" — новая лекция доктора технических наук Владимира Крылова на нашем YouTube-канале. Есть в виде подкаста.

Из лекции вы узнаете:
🔸Что значит «знать» что-то? Можно ли свести все человеческие знания к тексту?
🔸Какова связь между языком и реальностью? Существуют ли знания вне языка?
🔸Как приобретают знания люди и LLM? Что говорят результаты первых нейропсихологических исследований LLM?

Появились вопросы — задавайте в комментариях!

Open AI запустили серию из 12 ежедневных трансляций, в которых в камерном формате планируют рассказывать о… не очень понятно точно о чем, но вероятно об обновлениях и планах на будущее. Вчера был анонсирован выход модели o1 (полной, а не preview), работает быстрее и умнее, работает с картинками (с аудио файлами не работает), уже доступна из Штатов, а скоро по всему миру для платных подписчиков. Также запустили еще более усиленный режим работы - o1 pro (длиннее рассуждения), который доступен по отдельной подписке в $200. Следить можно вот тут или на youtube, впрочем мы все посмотрим и напишем о самом важном и итересном.

🎥 "ИИ вместо Тьюринга, Дали и Пушкина. Есть ли предел творческому потенциалу LLM?" — новое интервью на нашем YouTube-канале. Взяли его у Бориса Орехова — кандидата филологических наук, доцента ВШЭ и старшего научного сотрудника Пушкинского Дома.

Поговорили об отношении людей к машинному творчеству, о потенциале нейросетей в области поэзии и о собственных ML-проектах Бориса, которые вы можете посмотреть на HuggingFace.

🎙Интервью выложили и в виде подкаста.

Live stream finished (50 minutes)

Live stream started

Появился еще один весьма полный ресурс https://github.com/SylphAI-Inc/LLM-engineer-handbook полезных материалов по разработкам с использованием LLM. - Справочник инженера LLM
Обзор
Библиотеки, фреймворки и инструменты
Приложения
Предварительная подготовка
Тонкая настройка
Обслуживание
Оперативное управление
Наборы данных
Показатели
Учебные ресурсы для LLM
Приложения
Агент
Моделирование
Обучение
Тонкая настройка
Основы
Книги
Информационные бюллетени
Автооптимизация
Понимание LLM
Социальные аккаунты и сообщества
Социальные аккаунты
Сообщество

Завтра, 28 ноября, в 12:00 директор центра разработки Artezio Леонид Лифшиц расскажет, как создать ML-cистему для аннотирования текстов в условиях ограниченных ресурсов.

На лекции обсудим:
▪️классификацию задач по аннотированию тестов;
▫️основные подходы в условиях ограничения ресурсов;
▪️суммаризацию англоязычных и русскоязычных текстов;
▫️Text2Speech модели и ресурсы для локального развертывания моделей.

Подключайтесь! Будем транслировать на наш YouTubе и в этот телеграм-канал.

Вышло обновление IDE Cursor в котором появились агенты. На приложенном видео агент ловко создает приложение тайм-трекер c бэкендом на Node.js, фронтэндом на чистом JS и даже запускает приложение. Пора пробовать на собственных задачах. На Реддите впрочем, есть жалобы что Composer (мощная фича Cursor, которая позволяет редактировать код сразу в нескольких файлах) в новой версии стал сильно тормозить, разработчики недовольны.

История из жизни для тех, кто ближе к бизнесу, чем к нейропсихологии LLM. Кейс как человек пытается применить LLM с точки зрения развития своего проекта:
Автор небольшого проекта Percentagescalculator " Я немного погуглил и обнаружил, что от 100 000 до 1 миллиона человек ищут Percentage Calculator каждый день. Ссылка номер 1 — это очень простой одностраничный веб-сайт с едва ли каким-либо SEO. У него просто хорошие обратные ссылки.

Так что я немного пообщался с Клодом, мы создали этот веб-сайт за несколько минут (буквально за 10 минут), затем я поискал URL-адреса сайтов с рейтингом номер 1 в Google в кавычках, чтобы найти, где он появляется на других сайтах, и я начал собирать адреса электронной почты владельцев сайтов везде, где он появлялся, и заставлял chatGPT писать убедительные письма, сообщая им о преимуществах моего процентного калькулятора. Я также нашел форумы, где люди обсуждали его, поэтому также рассказал им об этом инструменте. Где бы ни была их ссылка, там будет и моя ссылка.

Клод помог мне создать калькулятор расширений Chrome, который даст мне обратную ссылку на домен Google за 5 долларов (стоимость регистрации разработчика), чего у них нет.

Если я смогу получить хотя бы 10% от этого объема поиска, это будет чертовски много трафика."

Новые возможности разработки с использованием LLM от Anthropic: Сегодня мы открываем исходный код Model Context Protocol (MCP), нового стандарта для подключения помощников ИИ к системам, где находятся данные, включая репозитории контента, бизнес-инструменты и среды разработки. Его цель — помочь передовым моделям выдавать более качественные и релевантные ответы.

https://llmresourceshub.vercel.app/

Здесь есть все, ну почти...

Live stream finished (59 minutes)

Live stream started

Завтра, 21 ноября, в 12:00 доктор технических наук Владимир Крылов расскажет, всё ли могут знать LLM ☺️

На лекции обсудим:
🔸Что значит «знать» что-то? Можно ли свести все человеческие знания к тексту?
🔸Какова связь между языком и реальностью? Существуют ли знания вне языка?
🔸Как приобретают знания люди и LLM? Что говорят результаты первых нейропсихологических исследований LLM?

Подключайтесь! Будем транслировать на наш YouTubе и в этот телеграм-канал.

Месяц назад (мы писали) команда Chatbot Arena (ранее LMSYS - платформа соревнований LLM в виде чатов) выпустила плагин copilot для VSCode (один из известных редакторов кода от Microsoft). Внутри плагина встроена арена оценки различных LLM как копайлотов для программирования. Работает это так:

• Пользователь в IDE вызывает плагин чтобы дополнить какой-то кусок кода
• Плагин передает запрос паре случайно выбранных LLM и возвращает два обезличенных ответа
• Затем пользователь “вслепую” выбирают из двух вариантов какой ответ ему больше подходит
• Пользователь получает нужный код (copilot работает бесплатно), а команда LMSYS статистику ответы каких моделей предпочитают разработчики.

Вчера команда Copilot Arena опубликовали первые результаты исследования. Как водится в современном мире ИИ вчерашние результаты уже немного устарели т.к. вчера же вышли новые версии моделей QWEN которые явно претендуют на высокие места в рейтинге написания кода, но по очевидным причинам еще не успели в нем поучаствовать. Тем не менее результаты любопытные, кажется это первое исследование моделей (именно в режиме копайлотов) с более-менее уверенными статистическими показателями и на настоящем коде.

На основе 10000+ запросов к копайлотам (200-250 постоянных пользователей в день в течение месяца) появилась вот такая таблица топ-9ти соревнующихся моделей.

Из интересных подробностей: Чаще всего плагином пользовались питонисты, сильно меньше JS, потом все остальные. Медианный размер запросов с кодом в пять раз больше, чем текстовые запросы на обычной арене - 530 токенов против 100. Остальное в блоге создателей.

Хорошая новость для тех, кто любит кодить на вершине горы Эверест, в Марианской впадине или из пасти дикого льва в африканской саванне (там, где качество доступа в интернет оставляет желать лучшего). Qwen 2.5.1 Coder 7B!

На днях в сеть (похоже случайно) утекла новая версия модели для программирования от Alibaba, а сегодня ее уже выложили официально. Эта модель весом в 7 миллиардов параметров демонстрирует очень достойные результаты на бенчмарке редактирования кода Aider: всего на несколько процентов отстает от GPT-4-1106-preview (модель от 6 ноября 2023), но работает полностью оффлайн! Находка для тех, кто хочет иметь под рукой мощную языковую модель без необходимости постоянного подключения к сети. Официальная версия тут (там вся линейка новых моделей и полные и 7B в том числе). Утекшая версия тут, но т.к. вышла официальная то смысла в ней особенно нет.

Microsoft представляет Magentic-One, новую универсальную многоагентную систему, предназначенную для обработки сложных веб- и файловых задач.

Она использует агент Orchestrator, который управляет четырьмя специализированными агентами: WebSurfer для операций браузера, FileSurfer для управления файлами, Coder для задач программирования и ComputerTerminal для консольных операций.

Magentic-One достигает конкурентоспособной производительности в нескольких тестах, включая GAIA, AssistantBench и WebArena, без необходимости внесения изменений в свою базовую архитектуру.

Созданная на основе фреймворка AutoGen от Microsoft, Magentic-One использует уникальную двухконтурную архитектуру, в которой Orchestrator управляет как задачами, так и регистрами прогресса.

Система имеет открытый исходный код, как и AutoGenBench, новый инструмент оценки для тестирования систем на основе агентов.

Пока еще может рано, но это новое движение по созданию универсальных агентных систем — то, за чем стоит следить. Кроме того, другие текущие приложения на основе LLM, такие как RAG, также выиграют от этого типа системы, которая строится поверх нескольких специализированных агентов.

https://www.microsoft.com/en-us/research/articles/magentic-one-a-generalist-multi-agent-system-for-solving-complex-tasks/