Иван Яковлевич Сержантов родился 17 февраля 1919 года в деревне Первые Яковлевичи ныне Оршанского района Витебской области Республики Беларусь в семье крестьянина.
Окончил 7 классов и аэроклуб в Орше.
В Красной Армии с 1938 года. Направлен по комсомольской путевке в Одесскую авиашколу. Получив звание пилота, был направлен в Чугуевское военное авиационное училище, которое окончил в июне 1941 года, за несколько дней до начала войны. Был осужден и отбывал срок наказания в виде лишения свободы. В документе "Доклад о работе главного управления исправительно-трудовых лагерей и колоний НКВД СССР за годы Отечественной войны" Сержантов И.Я. упоминается среди бывших заключенных ГУЛАГа, ставших после досрочного освобождения Героями Советского Союза.
Досрочно освобождён, на фронте с января 1942 года пилотом 148-го истребительного авиаполка в звании сержанта. 9 марта 1942 года под Харьковом Сержантов одержал первую победу над врагом. Сражался под Сталинградом и Ростовом, провел 85 воздушных боев. В одном из боев, прикрывал спускающегося на парашюте Михаила Баранова. В бою сбил два немецких самолета, хотя и сам был тяжело ранен. Об этом бое было написано в газете "Правда".
В августе 1942 года был включён в составе 9-го гвардейского истребительного авиаполка советских асов. К тому времени на его счету уже было 10 сбитых самолетов, и Сержантов увеличили свой счет в первом же вылете.
К апрелю 1943 года гвардии лейтенант Сержантов совершил 258 боевых вылетов, в 85 воздушных боях лично сбил 13 и в группе 8 самолетов противника и был представлен к званию Героя Советского Союза. Но отважный летчик не успел получить заслуженную награду.
Погиб на своем аэродроме 29 апреля 1943 года в результате несчастного случая (отравился). Похоронен в парке Авиаторов, Ростов-на-Дону.
Указом Президиума Верховного Совета СССР от 24 августа 1943 года за образцовое выполнение боевых заданий командования на фронте борьбы с немецко-фашистским захватчиками и проявленные при этом мужество и героизм гвардии лейтенанту Сержантову Ивану Яковлевичу посмертно присвоено звание Героя Советского Союза.
Награждён орденами Ленина, Красного Знамени, Красной Звезды, медалями.
Память:
Имя Героя носят улицы в городах Орша и Ростов-на-Дону,
По материалам: сайта Герои Страны, С. Каргапольцева, сайта "Донской Временник", "Памятные даты", Герои Советского Союза. Т. 2. С. 448; Череватенко А. Любимец полка // Бессмертные героев имена. Ростов н/Д., 1973. С. 138–142.