Родился 17 мая 1924 г. в с. Просечье Раненбургского уезда Рязанской губернии (ныне Александро-Невский район Рязанской области) в крестьянской семье. Окончил 7 классов Просеченской школы. До призыва в армию работал в колхозе.

В Красную армию призван Новодеревенским районным военным комиссариатом в 1942 г. В боях под Харьковом был ранен.

В 1947 г. окончил Рязанское Краснознаменное пехотное училище им. К.Е. Ворошилова (ныне Рязанское высшее воздушно-десантное командное дважды Краснознаменное училище им. генерала армии В.Ф. Маргелова (РВВДКУ). Член ВКП(б) с 1947 г.

Служил в воздушно-десантных войсках на командных должностях в Казахстане, Белоруссии, Литве. Командир 3-й роты (108-й гвардейский десантно-штурмовой Кубанский казачий ордена Красной Звезды полк, 7-я гвардейская десантно-штурмовая (горная) Краснознаменная ордена Кутузова дивизия) гвардии капитан Харламов в составе советских войск участвовал в подавлении Венгерского восстания осенью 1956 г.

3 ноября полк был переброшен по железной дороге от станции Каунас (Литва) до станции Здолбунов (Украина) и отсюда продолжил движение двумя железнодорожными эшелонами: первым — до станции Львов, вторым — до станции Хмельницкий. В тот же день 108-й пдп в полном составе переброшен на аэродром Текель (Венгрия) в готовности к выполнению поставленной задачи. Парашютно-десантная рота под командованием гвардии капитана Харламова сосредоточилась в районе аэродрома Текель в 17 км южнее Будапешта. 4 ноября в 2 час. ночи 3-я рота получила задачу: действуя в составе 1-го батальона на БТР и танках, совершить марш Текель – Будапешт, разоружить и обезвредить личный состав саперного батальона венгерской армии, перешедшего на сторону мятежников. Противник оказал упорное сопротивление, и попытка разоружить его без применения огня успеха не имела. Завязался бой, продолжавшийся более суток. Сложилась критическая ситуация: из-за невыгодных позиций десантники понесли значительные потери, не хватало боеприпасов, не было связи со своими подразделениями. Несмотря на яростный огонь повстанцев, 3-я рота не дрогнула. Воины не приняли предложение контрреволюционеров сдаться в плен и стояли до конца.

6 ноября в 21 час. гвардии капитан Харламов во главе штурмового отряда сводных рот по захвату и ликвидации штаба мятежников, находившегося в кинотеатре «Корвин» в Будапеште, получил приказ уничтожить очаг сопротивления к 6 час. утра 7 ноября. Здание штаба представляло собой опорный пункт, усиленный двумя батареями 85-мм орудий, танками, зенитно-пулеметными установками и гарнизоном из 359 человек. Для выполнения задачи штурмовой отряд был усилен танковым батальоном.

Используя проходы в стенах, проделанные огнем из танковых орудий и ручных гранатометов, десантники во главе с гвардии капитаном Харламовым ворвались в вестибюль кинотеатра «Корвин» и завязали бой внутри здания, обеспечивая своими активными действиями атаки подразделений, действовавших на других участках. Несмотря на сопротивление, в 4 час. 7 ноября здание кинотеатра «Корвин» было захвачено десантниками. Гвардейцы капитана Харламова, выполняя интернациональный долг, проявили исключительное мужество и героизм.

В уличных боях в столице Венгерской Народной Республики – г. Будапеште, выполняя поставленную боевую задачу, офицер-десантник исполнил свой воинский и интернациональный долг. Возглавляемая им рота успешно выполнила поставленную перед ней боевую задачу, нанеся противнику ощутимый урон, и спасла жизни многих мирных граждан.

Из наградного листа: «Первым ворвался в казармы противника и за собой повел личный состав на врагов. В результате умелых действий он сумел сохранить личный состав роты и добиться больших успехов в освобождении целого ряда домов от бандитов. Рота, которой он командует, пленила 56 повстанцев, разоружила 125 человек, захватила 85 карабинов, 45 автоматов и 42 пистолета. Показал себя умелым организатором боя в крупном городе».

Указом Президиума Верховного Совета СССР от 18 декабря 1956 г. за мужество и отвагу, проявленные при выполнении воинского долга, гвардии капитану Харламову Николаю Ивановичу присвоено звание Героя Советского Союза.

Продолжил службу в Вооруженных Силах. В 1962 г. окончил Московскую военно-воздушную инженерную академию им. Н.Е. Жуковского. Полковник Xарламов жил в г. Ленинграде, работал старшим преподавателем кафедры тактики и оперативного искусства Военной академии тыла и транспорта (ныне Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования «Военная академия материально-технического обеспечения имени генерала армии А. В. Хрулева» Министерства обороны Российской Федерации).

Награжден орденами Ленина, «За службу Родине в Воо¬руженных Силах СССР» 3-й степени, медалями.

Умер 25 марта 1982 г. Похоронен в г. Ленинграде.

Бюст Н.И. Харламова установлен на Аллее славы в РВВДКУ. В списке выпускников – Героев Советского Союза на стенде Знаменного зала училища стоит имя Николая Ивановича. В галерее Героев Советского Союза и Героев России в Музее истории ВДВ – портрет Н.И. Харламова.

В 2005 г. к 60-летию Победы открыта мемориальная доска на здании Просеченской средней школы с именами Героев Советского Союза Н.И. Харламова и Н.В. Ларина.