В середине XVI века это был один из главных и наиболее укрепленных въездов в Москву. Василий прозрел дьявольскую сущность чудотворного образа Божьей Матери, который висел на Варварских Воротах и разбил его камнями.
"Святой видит все, ничто не может от него скрыться. Однажды он камнем разбил почитаемый образ Богородицы у Варварских ворот. Святотатство, кощунство, может быть, намек на неуместность поклонения раскрашенным доскам? Ну полно, он все-таки русский святой, а не византийский философ-иконоборец и не протестант из немцев. На самом деле это иконописец был тайным врагом правой веры и сначала изобразил на иконе беса, а уж поверх беса — Матерь Божью. Но Василий, естественно, беса сквозь краску прозрел и уничтожил".
После «разоблачения» святым Василием адописной иконы на воротах долгое время икон не было, но в начале XVIII века при Петре в ворота был помещен список иконы Боголюбской Божией Матери. Позже к воротам была пристроена часовня для этой иконы.
Она тоже почиталась чудотворной, и в разгар эпидемии чумы в 1771 году в Москве толпы людей начали стекаться к Варварским воротам, устраивая молебны у иконы. Опасаясь, что эти молебны станут очагом распространения эпидемии, московский митрополит Амвросий решил запретить молебны и забрать икону. Но люди взбунтовались. Отбили икону и направились в Кремль для расправы над злоумышленниками. Так начался Чумной бунт 1771 года.
Варварских ворот сейчас нет, их разобрали в 1934 году вместе с Китайгородской стеной — на их месте забор администрации президента РФ на пересечении улицы Варварки и Старой площади.