Родился в семье инженера-мостостроителя.

С 1953 года работал в Московском уголовном розыске, где начинал с оперативной работы. Окончил Всесоюзный заочный юридический институт. Одновременно — капитан сборной СССР по настольному теннису, впоследствии — тренер.

В 1963 году в звании капитана покинул органы МВД и занялся литературным творчеством. Первая повесть «Приступаю к задержанию» вышла в 1965 году.

Автор многих известных книг и киносценариев (в том числе к кинофильмам «Вариант „Омега“», «Трактир на Пятницкой»), а также цикла популярных детективных повестей об инспекторе Льве Гурове. Последнее произведение Леонова — роман «Пир во время чумы» (завершён в ноябре 1998).

Лауреат премии СП СССР и премии МВД СССР.

Похоронен на Митинском кладбище в Москве.

После смерти Николая Леонова, поскольку его имя стало торговой маркой, зарегистрированной «Эксмо», появилось более сотни «продолжений» цикла о деятельности сыщика Льва Гурова различных авторов (в том числе с указанием «соавторства» Н. И. Леонова).