State of js - буря в стаканеЧто этоРаз в году, площадка State Of JS проводит онлайн опрос о языке JavaScript.
Опрос состоит из десятка вопросов, который авторы посчитали важным для JavaScript.
В опросе может принять участие любой желающий, как анонимно так и представившись.
Средняя аудитория около 20 000.
По окончании опроса, представляются результаты опроса.
Прежде всегоНужно поблагодарить авторов за их труд. Делают они это (по крайней мере начинали) совершенно бесплатно, тратя на это свои свои деньги и время.
Автор проекта позиционирует причины появления проекта как:
Всё началось с моей собственной неразберихи. Ещё в 2016 году я понял, что мне нужно вывести свои навыки веб-разработки на новый уровень, но не знал, с чего начать и какой фреймворк выбрать. Я подумал, что другие люди, возможно, сталкиваются с той же проблемой, и так родился опрос «Состояние JavaScript» .
Почему - результаты сомнительны
Никаких оснований предьявлять претензии за подтасовку результатов - нет.
Дело совершенно в другом.
Проблема в том, как собираются данные, и в методах исследования результатов.
Перед нами простой онлайн опросник, в котором не существует никаких гарантий как противодейсвтию манипулированию слабостью модели сбора данных, так и сколько нибудь надежной модели сбора самих данных.
Чтобы понять о чем идет речь, представьте что на канале AsForJS будет запущен опрос, с выбором одного из 4 вариантов ответа: Что быстрее const или let или var или Я упырь.
С Высокой долей вероятности, мы в этом опросе получим явный отрыв двух пунктов: var и Я упырь.
Будет ли это достаточным основанием, чтобы сделать вывод о том, что все JS комьюнити думает так же?
СоциологияВ недрах такой науки как Социология, родился такой метод исследования, как опрос общественного мнения. Где даже на выборках в 1000 респондентов, гарантирую погрешность не более 5% при аппроксимации данных на всю аудиторию.
Иными словами, гарантируется, что если опрос, прошел в контролируемой среде, результат опроса можно распространить на всех людей с погрешностью не более 5%.
Добились этого путем того, что у них называется "случайной выборкой" к которой предьявляются очень строгие требования, где в той самой 1000 человек, должны присустствовать все группы от которых может зависеть результат в нужной пропорции.
То есть ни о какой случайности речи не идет. Аудиторию специальным образом выбирают.
Не считая конечно же, правил, которые применяются к тому КАК именно формировать вопросы.
При наличии обязательных гарантий отсутствия возможности участников повлиять на ответы друг друга.
И в этом случае,
подобные опросы дают ответы - которые обладают доказуемой Предсказательной силой. Например екзит полы при голосовании.
Что происходит в State Of JS
Ничего подобного не используется.
Голосуют кто хочет, как хочет, сколько раз хочет.
Никаких гарантий даже противодейтсвию накруткам - не существует (или не заявляется)
Даже выкинув за скобки фактор не честной игры, мы должны понимать что голосуют те, кто знает о конкурсе, кто имеет активную позицию, тот кто хочет проголосовать.
Что совершенно не укладывается ни в какие рамки, которые бы позволили серьезно относится к результатам. Они могут совпасть а может и нет. Установить это - нет никакой возможности. As is.
Более того, провокационные заголовки (например чего не следует учить) помноженные на сомнительность статистики на которую прямо влияют плохо составленный опросник, каждый год вызывает бурление говн и метанизацию луж.
Вместо ИГОГОState Of JS - в его текущем состоянии это проект для того, чтобы лол/кек/азаза на заданную тему.
Репрезентативность его вызывает массу вопросов, которые авторы не собираются решать - их все устраивает в текущем виде. Чем пользуются разные блоггеры которые раскручивают вокруг "маргинального" обычного опросника бурю в стакане.
Что можно было бы сделать?
Нанять социологическую службу или получить консультацию у них о том, как составить репрезентативную выборку на уровне хотя-бы 1000 человек и получить обьективные результаты опроса.
Не заполняю и Вам не советую. 
