А. С. Иванов родился 5 мая 1928 года в селе Шемонаиха (ныне Восточно-Казахстанская область Казахстана). Родители — Марфа Логиновна и Степан Степанович Ивановы из крестьянских семей, всю жизнь занимавшихся хлебопашеством. В колхозе не состояли и жили в районном центре, где отец работал заведующим райотделом «Союзпечати». Марфа Логиновна занималась хозяйством.

С 1946 по 1950 год Анатолий Иванов учился на факультете журналистики Казахского государственного университета имени С. М. Кирова.

Творческую деятельность начал в 1948 году как журналист в газете «Прииртышская правда» (Семипалатинск). Был военнослужащим, затем редактором районной газеты «Ленинское знамя» в Новосибирской области. Член КПСС с 1952 года.

В 1954 году в журнале «Крестьянка» был опубликован его первый рассказ «Дождь». Затем в журнале «Сибирские огни» напечатан рассказ «Алкины песни», а в 1956 году с таким же названием вышел первый сборник его рассказов.

В 1958 году был опубликован его первый роман «Повитель», который принёс автору всесоюзную известность и был замечен за рубежом. Переведён на болгарский, чешский, словацкий, румынский, французский и другие языки.

В 1958—1964 годах Анатолий Иванов был заместителем главного редактора журнала «Сибирские огни».

В конце 1960-х годов переехал в Москву.

Общий тираж книг на разных языках мира — более 30 миллионов экземпляров.