Родился в семье отчима-священника и был самым старшим из девяти детей. Своего родного отца Болдуин никогда не знал и отчасти страдал от этого, что отразилось в некоторых его произведениях («Скажи мне, когда ушёл поезд», «Иди вещай с горы», «Комната Джованни»). До окончания школы Болдуин идёт по стопам своего отчима и помогает ему в церкви. Но чем старше становится будущий писатель, тем отчётливее он понимает, что проповеди его отчима расходятся с тем, что творится на улицах Гарлема, и, самое главное, с поведением самого отчима дома. После окончания школы в Бронксе Болдуин переезжает в Гринвич-Виллидж, где и начинается его литературная карьера.

Проведя детство и юность в Гарлеме и Гринвич-Виллидже — в одних из самых неблагополучных районов Нью-Йорка, — Болдуин начинает писать о своих взглядах и понимании происходящего вокруг. Его первые публицистические статьи проникнуты духом отрицания расизма, царящего вокруг молодого человека. Именно поэтому, получив премию за свой первый художественный роман «Иди вещай с горы», в 1948 г. Болдуин покидает США и уезжает во Францию.

Будучи негром и геем в расистской и гомофобной Америке 40-х гг. XX в., находясь в двойных тисках, прибывая во Францию, Болдуин здесь словно делает глоток свежего воздуха. Главные его произведения написаны именно на берегах Сены, и именно здесь Болдуин проводит бо́льшую часть своей жизни. Он всего два раза возвращался на родину и был активным участником движения Мартина Лютера Кинга — единственного движения, идеологию которого он разделял практически полностью. Но домом для писателя оставалась Европа, которую он, вернувшись второй раз из Штатов, не покинул до конца жизни.