Мандрик, Казаков и роботы

Ну и теперь к плохой новости (хотя я знаю еще одну хорошую, но про нее тоже отдельным постом).

Помимо интеграции на уровне техники, придется решать кучу проблем с интеграцией на уровне логики.

Кажется что вот же, отдадим курс ИИ, пусть он его сам "изучит" и будет отвечать пользователям. Не будет. И даже не изучит. Как минимум потому, что на самом деле нет еще никакого ИИ, а есть нейронка, очень умело прикидывающаяся умной.

Итак.

Чтобы нейронка дала вразумительный ответ, ей кроме вопроса от пользователя нужно передать еще какой-то контекст, в котором есть как минимум подсказки к верному ответу. И не отдельно, а прямо вместе с вопросом.

Условно, юзер спрашивает про функционал вашего продукта "Как мне сделать ..." - вы должны этот вопрос превратить во что-то типа "Действуй как опытный консультант. Ты помогаешь отвечать на вопросы о продукте ... (и тут много инфомации о том как он работает). Ответь на вопрос пользвателя: ... (и тут вопрос). Ответ должен быть точным и конекретным, если ты не знаешь точного ответа то... (и тут еще пачка инструкций как дать хороший ответ)"

И тут сразу начинаются проблемы - если ваш контент (курс или что-то еще) собран как преза, то выдрать из него читабельный текст - это целая задача. А если контент в формате видео - все еще веселее. И решать эти проблемы будет не нейронка, а вы.

Более того - как правило весь контент разом не влезает в объем который можно передать в одном запросе. Нужно резать на кусочки. На какие? Если я спросил одно, а в нейронку ушел кусочек про другое - я получу бредовый ответ. То есть контент нужно сначала разрезать и разметить, потом передать в нейронку вопрос с уже другой формулировкой, например "Действуй как консультант по продукту ... (очень общая информация по теме), пользователь задал вопрос ... (текст вопроса), определи к какой категории он относится. Категории: 1 ..., 2 ... ... . Отправь в ответ только цифру категории, а если не уверен, то отправь в ответ уточняющий вопрос"

А дальше вам нужно самим (да, это надо прогаммировать) смотреть на ответ и писать в коде проверку, что если получили цифру, то нужно повторно отправить уже первый вариант промпта и уже второй ответ показывать пользователю, а если текст, то показать его пользователю сразу, дождаться уточнения, еще раз отправить в нейронку полный текст диалога с инструкциями что она или дает цифру или снова что-то уточняет...

Эту логику нужно:
а) придумать
б) запрограммировать
в) (самое сложное) стабилизировать

В моем опыте - самое гадостное, что нейронки часто на просьбу прислать одну цифру в ответ присылают кучу мусора, типа "конечно я с удовольствием помогу, номер категории 59, если будут еще вопросы с радостью на них отвечу". Блин! А я жду одну цифру. И в коде написано, что если получил текст, то показываю его юзеру. А это совсем не то, что он ждал. А уж как она любит ставить то точки, то буллиты когда не просили...

И в итоге 99% проблем связаны именно с тем, что мы должны написать промпты так, чтобы периодически обрабатывать их строгой логикой if () else (), при этом нейронка будет творить что угодно.

Вывод? Сам процесс "интеграции" это лишь вершина айсберга. В первую очередь придется решать проблемы связанные с логикой и самим контентом. А передать текст в API и получить ответ - вообще не сложно.

Несколько раз за последнее время встречался с вопросами "а как интегрировать GPT" в свой сайт/бот/курс/...

У меня два ответа и они, как обычно, делятся на "хороший и плохой".

Начну с хорошей новости:
Технически нет никаких проблем с интеграцией, она очень простая. Спецификация для SCORM курсов в 1000500 раз сложнее, да даже интеграция вашей СДО с 1С будет казаться космическим кораблем, по сравнению с подключением к языковой модели.

Более того, моделей много, но они уже умудрились между собой договориться и у них примерно одинаковый процесс подключения. Не совсем, но есть те, где переключение между моделями вообще происходит бесшовно.

Если убрать все лишнее, то в сухом итоге вы передаете в API нейросетки текст вопроса, а получаете текст ответа. Все. Текст туда, текст обратно. Никаких вам 100 параметров как в интеграции с 1С. Ну ладно, есть, но их буквально по пальцам пересчитать можно и большая часть не обязательная.

Разумеется для этого всего вам понадобится:
🖥 какой никакой, но сервер (может быть с IP не в РФ, если планируете работать с зарубежными моделями)
🧑‍💻 чутка навыков программирования и вообще понимания как писать код
⌨️ настроенное "окружение" и прочие пререквизиты, типа созданного бота в телеге или проделанной безопасниками дырки в фаерволе компании, для нужных доступов

Но все эти пункты были бы нужны и если бы вы интегрировались не с ИИ, а с чем угодно, так что их правда можно вынести за скобки.

А про плохую новость напишу завтра ))

Всем отличной недели!

Для тех, кому мало нашего курса https://mkrobots.ru/#course, и кто хотел бы изучить глубже, Гугл подготовил очень большой и совершенно бесплатный набор курсов, от введения в большие языковые модели до разворачивания собственной сеточки в облако. Разумеется на английском.

https://www.cloudskillsboost.google/paths/118

Если кто-то ждал знак, то вот вам восклицательный: ❗️(с) – мой техлид )

Не реклама, но рекомендация. Уверен, что на нашем канале есть много людей, которые уже хорошо шарят в ИИ.

Корпорация СИНЕРГИЯ ищет ДИРЕКТОРА ШТАБА ИИ

Кто такой?
Фактически генерал над инструментами ИИ в корпорации Синергия.

Что делает?
Придумывает, разрабатывает и внедряет разнообразных нейропомощников для всех возможных сфер жизнидеятельности компании и в первую очередь самого большого ВУЗа в России. Нейротьюторы, нейрокураторы, нейропреподователи, различные инструменты оптимизации и автоматизации бизнес процессов, поддержка работы сотрудников креативных дисциплин, интеграция в ИТ-продукты и и.д. и т.п.

По сути ищут продакта и организатора с хорошими навыками в ИИ и промптинженерии.

Откликнуться тут

Давненько не было загадок? Нашел тут интересную!

В чем смысл загадки: Что содержит 3 буквы, иногда 6 букв, но никогда 7 букв?

Ответ: Это не загадка, а утверждение. Ч-Т-О = 3 буквы, И-Н-О-Г-Д-А = 6 букв, Н-И-К-О-Г-Д-А = 7 букв.

Пока я сам не смог получить правильного ответа от ИИ в чистом виде, но близкие ответы были. Как минимум я бы получил направление, что меня могло бы ускорить, но хочется написать общий промпт без прямых подсказок, который даст полное объяснение.

У кого получится - кидайте вашу версию промпта в комментарии)

Спасибо @khryunobotan, который скинул новость.

Кто еще думает, что автоматизация с помощью нейросетей "это просто" - велком к нам с Ромой на консультацию. Мы так не думаем )

Но я уже об этом как-то писал, а сейчас повторюсь еще раз - новая технология требует от нас новых подходов к защите. И не смотря на всю кажущуюся простоту (а что там сложного - один вызов по API) в новом мире нас ждет море новых опасностей.

И, кстати, проверять тесты на правильность и рефераты на уникальность с помощью нейросетей тоже то еще приключение.

Запись встречи с Ольгой Ладога.

Специально сделал именно репостом, чтобы заодно и подсветить канал Ольги, а еще хочу сказать, что у нас получилось очень глубоко пройтись по теме развития нейронок и как лучше всего двигаться в них и строить план обучения.

Ольга потрясающий собеседник с хорошими вопросами и по этому я очень советую запись к просмотру!

Друзья, вчера прошла встреча с Владимиром Казаковым (канал "Мандрик, Казаков и роботы"). Ссылки на каналы коллег и их ресурсы - под видео в ютубе. Беседа вышла больше про принципы, ориентиры в теме ИИ. Про что говорили: нас не вытеснят роботы и ИИ, нас вытеснят те, кто освоит ИИ, про общие ориентиры и с чего начать погружение, если вы на старте, как развивать навык составления промтов, кого и как стоит обучать в компаниях навыкам взаимодействия с нейросетками и кто обучается и берет в практику чаще других. Хотели умно показывать презентации и графики, но вышло и без них. Обещала разыграть книгу - их накопилось много задурблированных и сегодня в розыгрыше книги Максима Долгова "Геометрия команды" - практики создания команд по модели 5F. В продаже нет, а книга дельная. Чтобы книга ушла тому, кому реально нужна просто напишите комментарий под постом. Идеально, если по теме интервью - мысли/идеи, но и просто "хочу книгу" будет ок. Сделам рандомный выбор среди комментриев 5 02. Приятного просмотра ) https://youtu.be/SykOEpRTtlA

Очень интересно наблюдать за внутренними ИИ стартапами в компаниях.

Я бы их разделил на 2 типа:

1) "Давайте автоматизируем хоть что-то" - больше всего напоминают мне как 15-17 лет назад, когда вебинары только входили в моду, все хотели проводить вебинары, просто чтобы проводить вебинары. При этом есть реально интересные кейсы. Разбор багов по категориям, анализ отзывов по курсам с рекомендациями методологу/автору, оценка свободных ответов тестов. Я бы сказал, что у этих ребят есть результаты, когда задачи выполняются прям на 100% круто, но... хорошо если у 10% таких стартапов. Остальные мимо.

2) "Давайте выберем то, что реально надо автоматизировать" - это такие серьезные ребята, которые сначала посмотрели какие задачи дадут наибольший профит и потом за них взялись. Все проекты мега интересные - оценка риска выгорания, оценка риска увольнения, оценка климата в коллективе, бот-помогатор для дистрибьюторов... но... все они хорошо если сделали хоть 10% по пути к результату. То есть пока у всех, кого я вижу с такими проектами, все в стадии "через пару кварталов посмотрим что получилось", а пока прототипы, пруф-оф-концепты (технически работает, но результат не устраивает) и т.д.

В целом все как и в остальных сферах - быстрые победы возможны на небольших задачах, все, что требует усилий - не делается ни за день, ни за неделю.

В прошлом посте поговорили про расшифровку, а тут и крутая новость подъехала! МТС Линк первыми в России запускают автоматическую саммаризацию встреч. Ну и транскрибацию речи в текст, очевидно, но тут уже никого не удивить )

На самом деле по запросу можно было подключить уже достаточно давно, но вот теперь доступно всем, у кого тариф для крупного бизнеса.

Чем полезно:
- любой вебинар можно использовать как источник информации для создания курса - текст уже есть, по сути интервью с экспертом расшифровано, осталось взять и разложить по полочкам для получения курса.
- можно не пересматривать запись, если там ничего полезного
- можно быстро вспомнить о чем говорили и о чем договорились

А еще в записи можно будет проматывать до нужной реплики! Долой просмотр длиннющих вебинаров!

Какие лично я тут вижу перспективы? Много. Очень много!
- автоматическая обрезка "воды" и получение получасовой записи из двухчасового вебинара за 5 минут
- автоматическое разрезание вебинара на смысловые блоки, чтобы было легче смотреть или перекладывать в курс
- а может быть и вообще автоматическое превращение вебинара в курс - ИИ выберет нужное, там где полезно смотреть и слушать оставит видео, там где легче читать - напишет текст, если текста мало - вставит слайды или скриншоты со скриншаринга
- подспорье для людей с ограничениями по слуху (вчера смотрел запись одного вебинара в метро и очень хотел, чтобы можно было бы читать текст одновременно с этим)

А чего бы вам еще хотелось?

Пропустить молоко через корову дважды?? Я сам бы не додумался )

Коллеги, которые занимаются расшифровкой и саммаризацией голоса со встреч и интервью, ловите кайфовый рецепт!

Преамбула: если загнать в ИИ распознаную речь и попросить сделать саммари, то с высокой вероятностью на выходе будет расплывчатое "обсуждали все подряд, ничего не решили, ни о чем не договорились".

Фабула: мы уже знаем, что для качественных ответов от нейронки нейронке нужно давать максимальный контекст. И казалось, что расшифровка голоса и есть этот контекст, но...

Собственно лайфхак: прогоняем расшифровку в первый раз, с просьбой выделить основные темы. Тратим 3 минуты, чтобы вычистить из них мусор. Во второй заход полученный текст добавляем к промпту и теперь уже просим сделать саммари по этой структуре. Результат гораздо лучше и чище, чем сразу просить сделать саммари.

Все гениальное просто!

Прикольный кейс принёс товарищ. Он сделал тренажёр сложения, вычитания для детей. ИИ тут чисто для интереса хотел приложить, но эффект оказался выше его ожиданий.

Изначально это была просто страничка, которую он открывал детишкам, на ней большие цифры типа «2+2=» и внизу циферки, на которые надо нажать для выбора.

В первой версии примеры выбирались просто случайно, но были ограничения на сложение/вычитание в пределах десятка, двух, сотни, с переездом через десяток и так далее. Дети играли, запоминали что-то, но долго. Чтобы начать решать все примеры быстро и без ошибок уходило 2-3 недели.

Затем, пообщавшись со мной, он добавил алгоритм, который смотрел где больше всего ошибок и повторял эти задачи. По сути что-то типа карточек с интервальным повторением. На тот же уровень решения без ошибок получалось быстрее. Около двух недель.

Просто из интереса решил написать промпт, что-то типа «ты родитель, который хочет научить своего ребёнка сложению и вычитанию...» зачем в нём он добавил часть «примеры, которые ребёнок решил хорошо последние несколько раз это ..., ... и ...» (подставлял сюда те примеры, где ответ давался быстрее всего из последних 10 решённых) и затем «а вот тут были ошибки ...» и «а эти примеры заставили задуматься» (тут подставлял где ребёнок долго думал прежде чем нажать). Ну и дальше просил с учётом этого всего придумать пример, который бы улучшил ответы на те, где долго думал и помочь с выбором ответа.

В итоге, если раньше просто повторялся один и тот же пример где было больше всего ошибок, например 5+2, и всегда давались на выбор все варианты от 0 до 10, то теперь ИИ то предлагал решить 2+5 (да, с детьми так работает) то показывал примеры где есть или 2 или 5 (и в итоге получалось что ребёнок именно на двойке залипал, а после нескольких примеров переставал) и ещё ИИ показывало сначала не все варианты, а 3-4, чтобы было легче выбрать.

Итог: примерно неделя уходит на то, на что раньше уходило около двух.

После того как он это понял, первая его мысль была «а зачем мне тут ИИ, нужно просто алгоритм чутка докрутить». Сел докручивать и через неделю сдох, говорит что там вложенных циклов и условий получается сотня, страничка вместо 100 строк кода уже выходит на 1000 и ему надоело. Откатил. Оставил ИИ. Доволен.

Продолжил на выходных смотреть, как прошел прошлый год и каким фреймворком я больше всего пользовался. Думал победит mega-prompt. Но фигушки.

Ну точнее как - по сути я и правда больше всего использовал его, но в чуть другой компоновке. Опишу, вдруг и вам будет полезно?

Обычно, если у меня есть задача, с которой я иду за помощью к ИИ, то эта задача достаточно сложная (с простыми быстрее самому справиться), и часто еще и весьма комплексная.

Мои шаги:
1) пишу достаточно подробный промпт в mega-prompt формате, описываю общий контекст (помним, что иногда нужно даже очевидные вещи добавлять, чтобы получить более релевантный ответ и меньше галлюцинаций). Стандартный формат: персона, задача, контекст, шаги, формат. Но ...
- в шагах сначала ничего не пишу (просто пропускаю)
- в задаче прошу ИИ задать вопросы, ответов на которые не хватает
3) дополняю промпт. Как правило все ответы на вопросы ложатся в персону или в контекст (больше всего в контекст). Иногда для этого даже использую отдельные диалоги. Каждый раз я дополняю промпт и перезапускаю первый запрос, не веду это как диалог, а то начинается дрифт.
4) после того как вопросы становятся тупыми (ощущение, что ИИ пытается профессионально прокрастенировать) я меняю задачу и теперь прошу продумать шаги - декомпозировать или разделить задачу
5) после этого уже меняю задачу на ту, которая мне нужна была изначально

То есть я, по сути, использую нейросеть чтобы "об нее" подумать и в соавторстве написать промпт. В результате да, я получаю тот самый mega-prompt, но очень подробный, что дает сильный буст качества, в тот же момент я не так много времени потратил на него, так как у использовал ИИ даже для этой части.

Решил тут посмотреть на то, как в прошлом году я использовал нейросети и выбрать топовые промпты.

🥇 Первое место заслуженно занимает начало типа "Действуй как опытный менеджер продукта". Иногда формулировка меняется на владельца продукта или product owner'a. Логично, я же в работе использую. Пока, как видите, нейросеть меня не заменила. По моим ощущениям, большая часть задач, которые я так решал ускорилась процентов на 20-30. Не больше, но и это хороший результат.

🥈 На втором месте оказализь запросы, где я прошу ИИ нагенерить мне идей. Как правило это что-то типа "Предложи 10 тривиальных и 10 необычных идей/гипотез" или "Придумай 10 вариантов решения для задачи". Не могу сказать как меня это ускорило в процентах, но то, что я регулярно получал весьма полезные инсайты - факт.

🥉 И на третьем месте, что удивительно, я думал будет выше, задачи связанные с переписыванием текста. Причем примерно поровну как сокращение, так и добавление подробностей. Для сокращения были примеры "Выдели ключевые мысли из текста" и "Сократи текст, оставив самые важные детали", а для написания нового часто использовал "Используя следующие строки как основу пропиши подробно и с деталями пользовательскую историю" (ну или не историю, а что-то еще) и "Дополни список новыми пунктами". Тут ускорение было вообще в несколько раз, пожалуй самая эффективная часть, но требуется не так часто.

А какие у вас самые частые промпты?

Вернумся к ИИ? А точнее к тому, когда он не нужен.

Недавно удалось поговорить с @Rewrath, он написал мне как админу этого канала, хотел проконсультироваться, стоит ли применять нейронки в задаче профориентации детей.

Кейс: есть школа, где дети обучаются различным ИТ навыкам, часто ролители приходят с вопросом "куда посоветуете развиваться моему ребенку". Есть определенный кредит доверия и благодаря нему родители и задают этот вопрос. Проблема в том, что традиционные тесты по профориентации очень скучные, появился вопрос, а нельзя ли загрузить этой задачей нейронку.

Варианты решений "в лоб":
1) Не сильно мудрствуя запускать периодически стандартные опросники по профориентации. Они супер скучные, их вообще нельзя проводить слишком часто, ответы на вопросы часто продиктованы не тем, как детишки хотят (у них вообще такой саморефлексии нет иногда), а тем как продиктовано родителями, окружением, учителями. Вердикт: плохо, вот совсем плохо.
2) Решать это нейронками. Но для GPT моделей нужен какой-то контекст (и еще поди пойми какой и где его взять), а тренировать свою сеть - очень сложно, дорого и нужен массив данных такой, которого нет и не предвидится. С GPT еще проблема, что он может галлюцинировать и будет давать ответы которые невозможно полноценно валидировать. Вердикт: снова мимо.

Дополню про GPT: это не тот тип модели, который хорошо работает с данными в виде чисел, пусть даже с базовой математикой ИИ справляется. Для работы с такими моделями нужен контекст, и это точно не цифры. Ну и с учетом галлюцинаций, мне кажется не совсем этичным такой процесс, если его не проверить очень и очень скрупулезно.

Что придумали:
3) Кажется, что можно решить проблему низкой саморефлексии, если заполнять стандартные опросники будут не сами дети, а учителя, которые с ними работают. А чтобы они не сошли с ума от объемов - распилить опросники стандартные на блоки по 1-2 вопроса и после каждого урока отвечать только на них. Бонус - вопросы можно адаптировать, результат будет не однократный, а в формате пульса. Минусы - дополнительная нагрузка, но вроде приемлемая. Вердикт: годится.
4) Возможно, точно не сразу, можно будет попробовать полученные данные с заполненных педагогами отчетов превратить в тот самый контекст для GPT. И сравнить те выводы, которые даст ИИ с тем, что было получено руками. Но при этом совершенно не факт, что этот процесс действительно даст пользу.

Какой вывод? Иногда старый и проверенный путь дает сильно больше пользы. ИИ не панацея, он нужен не всегда. Но я рад, что удалось предложить какие-то идеи, которые оказались полезными.

Ну и завершая тему про статистику в нашем уютном чатике, давайте поговорим о том, как выбирать тех самых респондентов для наших исследований. Как и с любой задачей, здесь тоже важна правильная подготовка.

Начнем с того, что все эти красивые статистики и расчеты работают как часы только при условии нормального распределения данных. Что значит "нормальное распределение" лучше почитать, если коротко коротко - это когда данные на графике распределены симметрично. Это, конечно, не значит, что статистика не полезна в других случаях, очень часто данные можно нормализовать.

Теперь давайте поговорим о выборке. Очень важно, чтобы она была представительной. Не, не в смысле в ней представительные топ-менеджеры, а чтобы она отражала разнообразие той группы, которую мы исследуем. Иначе результаты будут как карикатура вместо фото. Да, случайность здесь важна. Но вот загвоздка: хотя мы и говорим о случайности, мы не можем полагаться только на случай.

Важно учесть демографическое разнообразие. Люди разные - по возрасту, полу, образованию, опыту работы. И если мы хотим достоверно оценить, например, эффективность обучения нашего нового курса, нам нужно, чтобы в выборке были не только те, кто уже много знает, но и те, кто только начинает свою карьеру.

Как правило для этого используется стратификация - мы знаем что у нас в организации работает сколько-то женщин и мужчин, опыт работы 10+ лет имеет Х%, а меньше года Y%. Сразу думаем какие еще факторы могут влиять на наши результаты и пытаемся их учесть. Так вот и наша выборка должна по составу быть примерно такой.

👉 Типичная ошибка: просто повесили ссылку на опрос на внутреннем портале. Круто - вы получили ответы тех, кто: достаточно активен, читает интранет, имеет свободное время, ... (формально это случайная выборка, но на самом деле нет). Минимально, что тут можно сделать - добавить еще хоть один канал (почта/мессенджер) из всех ответов случайным образом выбрать какое-то количество, которое будет отображать все разнообразие аудитории с учетом ваших параметров.

👉 Случай из практики: проводили опрос по эффективности внедренного ИПР. В первой попытке сделали ровно как я написал выше - просто закинули ссылку на интранет и подождали три дня. Результаты - чума, ну просто супер все круто. Когда я заглянул в сами ответы то понял что: кроме отдела кадров, HR и PR на портале никто не сидит, 70% ответов были от этих трех групп, у сейлзов было какое-то мероприятие и они вообще отсутствовали в эти дни всем отделом, а ИТ из своего кода не вылезают и читают только месенджер, так что и не знали про опрос.

👉 Решение: повторили процедуру, но уже закинув анкету по почте и в слак, подождали неделю, выбрали случайно правильную выборку (с учетом распределения по отделам. и опыту работы) из ответивших и ... ну вы поняли - радость кончилась, общая удовлетворенность примерно на уровне плинтуса. А могли бы и дальше жить в мире пони и единорогов и думать что наш ИПР самый ИПРистый на свете...

Так что, в заключение, давайте помнить, что статистика - это как ящик с носками. Если вы их там специально перемешивали, то можно и случайные выбирать, но если вы после стирки темные кидаете в одну сторону, светлые в другую, а шерстяные бабушкины храните вообще отдельно - то случайно взять пару носков и сделать выводы про все - нельзя.

Случайность, представительность и учет разнообразия - вот наши основные ингредиенты успеха.

Ну и завершая цикл про математику - да, у нас с Ромой есть уже подготовленные курсы по разным темам, но мы умеем любим и практикуем делать курсы и учить людей по кастомным запросам, если вдруг вы поняли, что в вашей компании нужно научиться правильно считать такую вот статистику - мы рядом 😊

Кажется логичным продолжить тему, которую начали в прошлом году и договорить про математику при расчетах результатов опросов и тестов.

Почему вообще это важно? Когда мы работаем с людьми, нам очень редко получается замерять какое-то явление точно – не для всего есть свои линейки. И в этот момент мы имеем дело не с точным измерением, а с вероятностными показателями. А если у них есть вероятность, то значит и изменения могут быть продиктованы ими, а не тем какой фреймворк перфоманс ревью мы внедрили или какой курс сделали.

Так сколько людей необходимо взять в выборку, чтобы полученные результаты были нам полезны? Частая ошибка - брать какой-то процент от общего числа людей в компании, в стране или в мире, но это очень и очень не правильно. В действительности размер выборки вообще не зависит от того, какого размера генеральная совокупность. На самом деле число респондентов определяется изменчивостью признака и тем, какую погрещность мы будем считать допустимым.

Вот, например, калькулятор (один из сотни, поверьте, там везде будут одинаковые показатели), в котором можно прикинуть какое число людей требуется для исследования. Так вот не важно, проводите ли вы исследование на 10 000 человек в своей компании или по всей стране на 150 000 000 - если погрешность на уровне 5% и достаточно 95% надежности то достаточно 370-380 человек. То есть при общем числе в десять тысяч и в 150 миллионов разница в выборке всего в десять человек.

Но вот дальше начинается самое сложно - как этих людей набрать. Тут тоже не все так просто, но об этом в следующий пост, и закроем тему про математику.

Перед новым годом принято проводить итоги.

Для меня этот год стал годом открытий и достижений. И год изменений. Не все из них случились по моей воле, но всем им я очень рад!

Я хочу всем вам, друзья, пожелать в новом году своих собственных побед, исполнения мечт и появления новых грандиозных планов!

Ну и мы с Ромой тут рядом, чтобы те мечты, в которых вам нужна помощь, обязательно исполнились!

По мотивам вчерашней дискуссии (кто пропустил - сорян, уже не почитать).

Подумал, что полезно будет написать не только про нейросети, но и более общие и приземленные вещи: математическая статистика.

Мало кто знает, но начинался мой путь в преподавании именно с мат.статистики и эксперименталки - вел эти предметы в своем вузе. И я считаю, что роль правильных расчетов сильно недооценена.

Предлагаю три задачки, решения будут в трэде под спойлерами.

1) Вы сделали две пилотные версии курса, которые отличались только траекторией - закрытая (нужно было обязательно прочитать все уроки) и открытая. После прохождения курсы ваши учащиеся сдавали итоговый тест. Результаты: закрытая траектория: { 38, 38, 40, 44, 45 } и открытая траектория: { 36, 37, 40, 43, 44 }. Имеет ли смысл делать закрытую траекторию курса?

2) Продолжаем считать результаты прошлого курса. Для проведения исследования с результатами в каждой группе по 5 завершенных итоговых тестов в каждой группе вам понадобилось привлечь 22 человека на курс с закрытой траекторией (прошло до конца в итоге 5) и 11 человек на курс с открытой траекторией (прошло тоже 5). Можно ли сделать вывод, что доходимость у этих траекторий курсов разная?

3) Ну и давайте уже добьем этот кейс с курсом. Конечно же мы спрашивали у всех учащихся (все 33 человека) их мнение об обучении с помощью анкеты обратной связи по методу NPS. Спрашивали у всех через 3 дня их неактивности, вне зависимости от того был ли пройден курс или брошен. Все участники как минимум начали курс. В первой группе (закрытая траектория) NPS = 63%, а во второй группе NPS = 95%. Если же выбирать только тех, кто в каждой группе дошел курс до конца, то в первой группе NPS = 80%, а во второй 94%. Можно ли сказать, что траектория курса влияет на вовлеченность в обучение?

Ну и задача со звездочкой: какой общий вывод можно сделать? Если что - цифры взяты настоящие и решение тоже было настоящим ))

Ну что, какое-то время назад обсуждали тут про восстание машин и думали - заменят они нас или нет.

Вот мое аргументированное мнение: https://rb.ru/opinion/mashiny-ne-vosstanut/