В  1937 году Александр окончил Военную академию Генерального штаба и был назначен начальником кафедры, а затем – помощником начальника отдела Генштаба. В ту пору впервые проявились блестящие штабные способности Василевского, он участвовал в переговорах и подписании мирного договора с Финляндией, в демаркации новой советско-финской границы. К маю 1940 года он занял одну из ключевых фигур в структуре Генштаба – стал заместителем начальника Оперативного управления.
С первого дня Великой Отечественной войны Василевский в качестве начальника Генерального штаба принимал деятельное участие в разработке и осуществлении практически всех крупных операций на советско-германском фронте. Он координировал действия фронтов и внёс большой вклад в развитие советского военного искусства. В 1943 году ему было присвоено воинское звание «Маршал Советского Союза».
Летом 1945 года Александр Михайлович был назначен главнокомандующим советскими войсками на Дальнем Востоке и руководил ими в советско-японской войне. Он разработал план Маньчжурской стратегической наступательной операции, в которой советским и монгольским войскам потребовалось меньше месяца, чтобы разгромить в Маньчжурии миллионную Квантунскую армию.
В послевоенные годы Василевский занимал должность начальника Генштаба, был первым заместителем министра обороны, а затем министром Вооружённых Сил СССР, возглавлял работу по переформированию армии в соответствие с условиями мирного времени, избирался депутатом Верховного Совета СССР.
В 1953 году после смерти Сталина военная карьера маршала изменилась. Он был понижен в должности до заместителя министра обороны СССР, которую занимал 3 года, а затем был уволен в отставку. Однако в 1959 году была создана Группа генеральных инспекторов МО СССР, и Василевский был назначен её руководителем, где и работал до конца жизни.