Матчасть

Недавно я натолкнулся на вопрос в чате ODS: почему алгоритм, генерирующий текст буква-за-буквой, сэмплит буквы не из p (вектор вероятностей следующей буквы, предсказанный языковой моделью), а из p'=softmax(log(p)/t) (где t — это ещё какой-то непонятный положительный скаляр)?
Быстрый и непонятный ответ: t — это "температура", и она позволяет управлять разнообразием генерируемых текстов. А ради длинного и детального ответа, собственно, и написан этот пост.
P.S. Этот текст был написан под температурой около 38°, так что не удивляйтесь, если он чуть более рандомен, чем вы бы ожидали ¯\_(ツ)_/¯

Мы тут не анонсируем внешние события, но сегодня проанонсируем всё-таки
25 августа пройдёт Хакатон Алисы на фестивале Chaos Constructions в Питере.
Задача хакатона - создать игровой навык для Алисы (викторину, квест, симулятор, игру для детей, и т.п.).
Чтобы принять участие, навык (черновой вариант) нужно разработать заранее, и подать заявку с ним не позже понедельника, 19 августа (включительно).
25 августа отобранные участники продолжат работать над навыками на фестивале при поддержке команды Диалогов Алисы.
Авторы трёх лучших навыков получат в подарок умную колонку Яндекс.Станция.
Подробности и регистрация тут: https://yandex.ru/blog/dialogs/khakaton-alisy-na-festivale-chaos-constructions

✏ Post from Матчасть

Итак, первый боткемп прошёл, второму боткемпу - быть!
В воскресенье 1 сентября мы снова устраиваем тусу (гибрид митапа с хакатоном) по созданию чатботов, алисьих навыков, и прочих диалоговых штук.
Работает это так: мы с 10 до 20 мы сидим в офисе и кодим всё то, что давно хотелось закодить, но не доходили руки.
А в промежутках между работой делимся друг с другом знаниями и опытом в области диалоговых технологий.
Вот подробное описание: is.gd/uDGie3
Вот чатик тусы: https://t.me/botcamp2019
Если вы готовы прийти и что-нибудь диалоговое закодить и сделать какой-нибудь маленький интересный доклад про чатботов и смежные технологии - вступайте!

✏ Post from Матчасть

🌎 Open link →

Сходил я сегодня на NLP семинар от Хуавея. Доклады там были в основном по бертоведению:
- Dr. Qun Liu @ Huawei Noah's Ark: фишки машинного перевода
- Михаил Архипов @ DeepPavlov - Multilingualism of BERT
- Никита Сметанин @ Реплика - BERT для диалогов на проде
Попробовал записать их на лету, и вот что получилось.

✏ Post from Матчасть

Всем привет!
Мы собираем компашку на выходные 3-4 августа, чтобы потусить по-ботански.
На какую тему туса: чат-боты и прочие диалоговые технологии (любые боты в телеграме и других соцсетях, навыки в Алисе, машинная поддержка пользователей, и т.п.).
Что будем делать: ботать и обмениваться знаниями. И то, и другое обязательно.
Где: сейчас ищу комфортную площадку в не слишком далёком Подмосковье.

Вам может быть интересно это, если:
- У вас есть базовые навыки программирования, и вы хотите попробовать применить их для создания ботов.
- У вас уже есть диалоговые продукты, вы совершенствуете их, и были бы рады свежим идеям (или просто подходящей обстановке, чтобы сесть и сделать фичи, которые давно хочется).
- Вы работаете с какой-то технологией, которую хотелось бы попробовать применить в чат-ботах. Например, вы придумали нейросетку, которой можно круто классифицировать интенты.
- У вас есть какой-то продукт, который можно обернуть в диалоговый формат. Например, вы работаете в СМИ и подозреваете, что ваш контент хорошо пошёл бы в виде навыка в Алисе.

Подробности будут появляться постепенно, но если вам уже интересно, то предлагаю вступить в чатик https://t.me/botcamp2019 и рассказать, почему вам подобное мероприятие интересно, и что бы вы хотели от него получить. Ну или позадавать вопросики)

✏ Post from Матчасть

Меня тут спросили недавно, как написать бота для телеграма, чтобы он все сообщения куда-нибудь сохранял.
Поскольку вопрос суперчастый, я решил сделать пример на 80 строк кода, показывающий по шагам, как
📫 написать "hello world" бота
🦓 поднять его на бесплатном сервере Heroku
🍂 прикрутить туда NoSQL базу mongodb для логов
От вас нужно не очень бояться питона и гитхаба.
https://github.com/avidale/example_telebot

Для тех, кто думает, чем бы заняться на зимних каникулах ⛄

Друзья, привет! Мы выезжаем с 3 по 8 января за город, чтобы вместе жить, кодить, учиться и отдыхать!

Что делаем: 5 дней ботаем Python и анализ данных, 1 день отдыхаем.
Если вам не нужно учить Python, но вы занимаетесь смежными задачами (программирование или анализ данных) и готовы участвовать в общем процессе - тоже ОК.
Работаем в общем пространстве с помодоро-расписанием и канбан-доской.

Когда: 3-8 января (можно меньше, но лучше на весь срок).
Место - творческая усадьба Гуслица, блок Станок. Это в 2.5 часах на электричке от Москвы
Стоимость: не более 1800 в день (проживание + питание + пространство для работы). Также мы сейчас ведем переговоры о снижении стоимости.
Можно сильно снизить стоимость, если заниматься волонтёрской работой на месте.

В Гуслице есть творческие мастерские, баня, и т.п. - отдохнуть тоже удастся!

Более подробное описание - в доке tinyurl.com/py-guslitsa-3-8.
Если вы готовы участвовать, вступайте в чат https://t.me/joinchat/BDvnrhMHdQwesRyzMsedMg и пишите там о своём намерении. Ждём вас!

🔁 Repost from Матчасть

🌎 Open link →

Попробовал запостить на Хабр статьюшку на английском о применении линейной алгебры в машинном обучении.
Удивительно, но Хабру даже в среднем понравилось.
#матчасть #weirdMath #machinelearning

✏ Post from Матчасть

🌎 Open link →

✏ Post from Матчасть

🌎 Open link →

Короткая статейка, основанная на классной метафоре.
Если вы хотите сделать бизнес на хлебе, вам нужны не только инженеры, создающие печи. А ещё и как минимум пекари.
Если вы хотите сделать бизнес на машинном обучении, вам нужны не только инженеры, придумывающие новые классы моделей и пробивающие бенчмарки. А ещё и... куча народу, вообще-то.
#матчасть #weirdMath