Родился в семье выходцев из Лодзи — ткача Абрама Лазаревича Гершенбаума, расстрелянного в 1938 году, и учительницы начальных классов Леи (Елизаветы) Исааковны Гершенбаум. Начальное образование получил на идише в Минске, затем учился в русской школе в Свердловске.

В годы Великой Отечественной войны — в рядах действующей армии. С 23 июня 1941 года — рядовой отдельного батальона военно-морской базы Балтийского флота. В марте 1942 года был контужен в боях при обороне Ленинграда. С 1943 года — на курсах сержантов Карельского фронта, с октября 1943 года — помощник командира взвода разведки в 23-й гвардейской стрелковой дивизии, потом в 14-м гвардейском стрелковом корпусе 1-й Ударной армии, командир разведвзвода батареи командующего артиллерией Северо-Западного фронта, с октября 1944 года — командир взвода артразведки в составе 2-го Прибалтийского фронта. С августа 1945 года — на 2-м Дальневосточном фронте. Уволен в запас в октябре 1945 года в звании гвардии старшего сержанта.

После окончания факультета журналистики Уральского университета в Свердловске в 1949 году вместе с женой — журналисткой Капитолиной Васильевной Кожевниковой (автор книг «Сигналы души», 1972, и «Тепло твоего очага», 1975) — был направлен на работу в Кишинёв, в редакцию газеты «Советская Молдавия».

По роману Иосифа Герасимова «Радости земные» (и его же сценарию) о послевоенной жизни в Кишинёве режиссёром Сергеем Колосовым в 1988 году был поставлен одноимённый художественный фильм. И. Герасимов написал также сценарии к кинокартинам «Пять дней отдыха» (Мосфильм, 1969), «Улица без конца» (Беларусьфильм, 1972), «Старые долги» (Киностудия им. Горького, 1979), «Предел возможного» (Мосфильм, 1984), «Время сыновей» (Мосфильм, 1986), и «Стук в дверь» (Мосфильм, 1989).

Награждён орденом Красной Звезды (1943), орденом Отечественной войны II степени, орденом Дружбы народов, медалями. Член Союза писателей СССР с 1956 года. Отдельные произведения переводились на другие языки, в том числе повесть «Стук в дверь» на молдавский язык и роман «Предел возможного» на латышский язык.

Скончался в Москве 31 марта 1991 года, похоронен на Востряковском кладбище.