Kardymonchik Channel

Пока мы очень терпеливо отвечаем на вопросы рецензента о нашей модели Prostata для оценки стабильности белков с использованием трансформера, в Тунисе датасайнтисты уже выиграли хакатон, положив в основу наше решение и улучшив его. Хорошо что есть препринты и открытый код. Хорошо, когда результаты используются для решения задач. И вообще с современными темпами развития AI ну нельзя столько времени рецензировать работы… пока статья выйдет - уже состарится. Эх.

Кажется, что интересная возможность пополнить список публикаций статьей из ВАКовского журнала, с англоязычной версией на Springer. Коллеги говорят, что прошлогодние статьи за эти полгода уже цитируются. Ну еще и 1 млн выиграть можно 🙂 В общем, информация:

В рамках международной конференции AI Journey 2023 приглашаем принять участие
в отборе научных статей по AI/ML для публикации в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии «Doklady Mathematics».

Журнал:
• Индексируется в крупнейших библиографических базах данных научного цитирования
• Доступен широкому кругу читателей на портале Springer (в английской версии)
• Публикуется на eLIBRARY – крупнейшей российской научной электронной библиотеке
• По рекомендациям ВАК – журнал относится к категории К1 для учета публикаций на соискание научных степеней

Помимо самой публикации, авторы получат возможность выступить с докладами
на AI Journey, а за лучшую статью предусмотрен денежный приз — 1 миллион рублей!

Ознакомиться с правилами и подать заявку можно на сайте AI Journey (https://ai-journey.ru/science/)

Без AI и без биологии. Просто когда льет как из ведра, а тебе нравится)

Хорошие активности надо поддерживать:

«Друзья, коллеги, которые из биотеха и медицины, барев дзес! Помогите, пожалуйста, распространить классную новость!

Мы с Institute of Bioinformatics Research and Education (IBRE). проводим хакатон, в котором запланированы треки как, непосредственно, по биоинфу, так и (новинка!) по медицинской статистике. На этот раз в прекрасном Ереване, с 11 по 13 августа. В хакатоне можно принять участие как в качестве исследователя/разработчика, так и подав собственный проект. Заявки принимаются до 15 июня. Ссылка на сайт проекта - в первом комментарии.

Будем рады видеть вас!»

Успехов, коллеги! И приятного времяпрепровождения!

Ни в коем случае не хочу дискредитировать обожаемую мной биоинформатику, но мем из народа смешной) (простите, не знаю автора)

Смотрите что умеет футболист от DeepMind. Помните как AI проверяли в игре с шахматистами. Интересно, когда увидим поединок сборной Аргентины против сборной DeepMind.

#nlp #про_nlp
"Во-первых, это красиво..."
Все постят этот восхитительный гайд по архитектурам LLM. Очень люблю такие майндмэпы — легко запомнить, систематизировать, использовать в лекциях

После того, как мы выложили препринт по модели PROSTATA, twitter взорвался комментариями, что эти русские плохо английский знают, понятия не имеют что это слово означает. Беда-беда) Единицы догадались об акрониме и чувстве юмора у коллег.) А тут такое! Коллеги, ну русский тоже можно учить) а то, как говорится, «как корабль назовешь…»

🔺 Это GigaChat

Друзья, несколько месяцев мы экспериментировали с инструктивным обучением и потихоньку начинаем делиться нашими наработками в области ChatGPT-подобных моделей.

🔸 Сегодня мы хотим анонсировать наше творение, которое было решено назвать GigaChat, а модели в его основе — NeONKA.

🔸 Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).

🔸 В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).

🔸 Детали "Неонки" мы будем потихоньку выкладывать в открытый доступ, чтобы сообщество могло самостоятельно тренировать подобные модели.

👉 Хабр

Ребята - молодцы, русский chatGPT - gigachat. Честно работают и выкладывают в открытый доступ. Честно признают, что пока не превосходят своего основателя. Но ничего, подождём. Всему свое время. Главное продолжать работать.

Тем временем вышла хорошая статья, к которой я немного приложила руку. Просто о том, чем мы занимаемся.

Channel photo updated

И краткое сравнение выложенных моделей GENA на основе Bert и BigBird:

🟢 данные обучения:
Bert—based - T2T
BigBird - based - T2T + SNPs augmentations

🟢 маскимальная длина входа в токенах:
Bert-based: 512
BigBird-based: 4096

🟢 словарь:
в Bert-based словарь менее качественный (по анализу от коллег из ИТМО)
(Ребята, спасибо и теплый привет!)

🟢 Bert быстрее, потребляет меньше памяти, но на ряде задач проигрывает BigBird в предскзаниях

🔥 Пополнение в репозитории GENA новой моделью на архитектуре BigBird!

Исследователи из групп «Биоинформатика» и «Новые нейросетевые архитектуры» сделали еще один шаг на пути к универсальной языковой модели ДНК и начали пополнять репозиторий GENA дополнительными решениями.

Результаты экспериментов показали, что для разных прикладных задач требуются разные архитектуры с разной входной длиной последовательности и скоростью обучения.

🌐 Gena-lm-bigbird-base-t2t – это трансформерная модель на архитектуре BigBird, основанная на кодовой базе HuggingFace и обученная на полном геноме человека T2T в рамках работы над развитием проекта GENA_LM (прочитать подробнее про Gena можно тут).

Новая модель может работать с последовательностями ДНК длинной до 24000 нуклеотидов, что в 8 раз превышает возможности предшественника.🧪

🧬 Дальше – больше! Исследователи активно экспериментируют с обучением других нейросетевых архитектур – ждите очередного пополнения репозитория в ближайшее время.

🖇 Ищите модель и веса по ссылке и следите за обновлениями!

А еще мы обучили новую модель для ДНК на основе bigbird, принимающую большую последовательность ДНК на вход. Пишем статью, где сравниваем GENA на разных архитектурах и с разными дополнениями, скоро все покажем. Но пока спойлер - эта версия очень хороша для большого количества геномных задач. Highly recommend. Все выложено, пользуйтесь и исследуйте сами модели GENA вместе с нами

Kandinsky2.1: “Терапия антителами” . Можно рассуждать над полученными изображениями, представляя почему он именно так сдиффузировал

Вчера вышел Kandinsky2.1 . Его не учили генерировать белки и их взаимодействия. Но по запросу «белок- белковое взаимодействие» выдает что-то художественное и, на мой вкус, красивое. Пусть и бессмысленное. Никаких 🐿️ в 🌳 🌳 🌳 не рисует. Чат-бот: @kandinsky21_bot