Родился 21 августа 1904 г. в уездном г. Скопине Рязанской губ. (ныне центр р-на) в семье рабочего. В три года потерял мать, в семь остался круглым сиротой. Был взят на воспитание бабушкой и старшим братом. В 1917 г. окончил церковно-приходское училище. С четырнадцати лет начал самостоятельную трудовую жизнь вначале разнорабочим в городском коммунальном хозяйстве, через год - в ж.-д. комитете по заготовке дров близ ст. Оцепково Свердловской обл. В 1920 г. вступил в комсомол. Летом 1921 г. переехал на Северный Кавказ.

В сентябре 1922 г. добровольно вступил в Красную Армию, учился на 48-х Ставропольских пехотных пулеметных курсах. В 1923 г. стал курсантом военной Кремлевской школы. В 1926 г. вступил в ряды ВКП(б). По окончании школы в 1926 г. был направлен на должность командира взвода в один из полков 22-й Краснодарской дивизии, который дислоцировался в г. Новороссийске, где без отрыва от службы окончил вечерний общественно-экономический факультет рабочего университета. С 1930 по 1934 г. проходил службу в Московской Пролетарской дивизии в должности командира роты, батальона. В 1937 г. с отличием окончил Военную академию им. Фрунзе, работал в должностях начальника штаба дивизии, начальника оперативного отдела штаба Харьковского военного округа, командира 132-й стрелковой дивизии. В 1940 г. было присвоено звание генерал-майора.

С первых дней Великой Отечественной войны – на фронте. С 132-й дивизией в составе 13-й армии участвовал в упорных боях в районе Могилев-Гомель-Брянск. В должности начальника штаба 48-й армии воевал на Брянском, Сталинградском, Южном фронтах. С апреля 1943 г. - начальник штаба Южного фронта, участвовал в проведении Миусской операции, в которой войска фронта прорвали сильно укрепленный рубеж на р. Миус и совместно с войсками 2-го Украинского фронта освободили Донбасс и левобережную Украину. С мая по октябрь 1944 г. занимал должность начальника штаба 3-го Украинского фронта, войска которого во взаимодействии с войсками 2-го Украинского фронта в Ясско-Кишиневской операции разгромили основную группировку войск противника "Южная Украина". Будучи командующим войсками 37-й армии, принимал участие в освобождении Молдавии, Румынии, Болгарии и северной части Югославии, включая и столицу Югославии – г. Белград. За время войны получил 5 ранений.

Был назначен командующим советскими войсками в Болгарии, Главным советником Болгарских войск и исполняющим обязанности Председателя СКК по Болгарии, где проработал почти 3 года. Был избран почетным гражданином г. Софии. С июня 1947 по май 1953 г. - командующий войсками Приморского военного округа, по июнь 1954 г. - главнокомандующий Центральной группой войск, по апрель 1955 г. – 1-й заместитель Главнокомандующего ПВО, по апрель 1962 г. – заместитель министра обороны и Главнокомандующий войсками ПВО страны, по март 1963 г. – заместитель министра обороны и Главнокомандующий ракетными войсками стратегического назначения, по октябрь 1964 г. – начальник Генерального штаба – 1-й заместитель министра обороны СССР. 11 марта 1955 г. Бирюзову присовено звание Маршала Советского Союза.

Звание Героя Советского Союза присвоено 1 февраля 1958 г.

Член ЦК КПСС с 1961 г. Депутат Верховного Совета СССР 2, 4, 5, 6-го созывов. Награжден 5 орденами Ленина, 3 орденами Красного Знамени, орденами Суворова 1-й и 2-й степ., Кутузова 1-й степ., Богдана Хмельницкого 1-й степ., иностранными орденами, медалями. Народный Герой Югославии.

Погиб 19 октября 1964 г. в авиационной катастрофе на горе Авала под Белградом. Похоронен в Москве на Красной площади у Кремлевской стены.

Его имя носило Рижское высшее военно-политическое училище. Именем Бирюзова названы улицы в Москве, Полтаве, Рязани, Скопине и во многих других городах. Бюст Героя и мемориальная доска установлены в г. Скопине.