Родился 9 (21) июня 1883 года в селе Большая Чернавка (ныне Малосердобинского района Пензенской области) в семье крестьян-старообрядцев.

Окончил Екатеринодарское городское училище. С 1902 года по 1903 год работал учителем в церковно-прихо́дском училище (бывшая народная школа) в селе Ундино-Поселье в Забайкалье.

В 1905 году переехал в Тифлис, где окончил экстерном учительский институт и включился в революционную деятельность, с 1906 года — член РСДРП. В 1906—1909 отбывал ссылку в Верхоленском уезде (село Манзурка).

С 1910 года жил на Кубани. В 1914—1917 годах работал учителем в прогимназии станицы Павловской. В годы Октябрьской революции и Гражданской войны находился в Новороссийске. Вступив в партию большевиков, добровольно уходит в Красную Армию. Затем был редактором городской газеты «Красное Черноморье», участвовал в восстановлении цементного завода. Член РКП(б) с 1920 года. В 1921 «как интеллигент и меньшевик» был исключён из партии (восстановлен после выхода «Цемента»).

В 1921 году переселился в Москву, где в 1923 году вошёл в пролетарское писательское объединение «Кузница». Производственные романы «Цемент» (1925) и «Энергия» (1933) выдвинули Гладкова в первый ряд официально признанных советских писателей.

Во время войны он был корреспондентом газет «Правда» и «Известия» на Урале, в 1943 — военный корреспондент «Известий».

В 1945—1947 годах — ректор Литературного института (был вынужден подать в отставку, когда его не избрали в партбюро). Своим личным распоряжением принял на очное отделение Наума Коржавина. Похоронен на Новодевичьем кладбище (участок № 2).

Надгробье создал выдающийся советский скульптор Евгений Вучетич, друг семьи Гладковых.