Александр Малышкин родился 9 марта 1892 года в селе Богородском Мокшанского уезда Пензенской губернии. Его отец служил приказчиком в лавке, принадлежавшей мокшанскому купцу и писателю-народнику В. П. Быстренину. По рассказам Анны Георгиевны Малышкиной, родной сестры писателя: «Нас в семье было детей семь человек, дед наш был из зажиточных мужиков, а отец перебрался в город Мокшан и купил пекарню, где пёк калачи и продавал их по копейке пара». О своём детстве Малышкин рассказывает в романе «Люди из захолустья»: «Мы были бедные, мы происходили из курносого, застенчивого простонародья, и я был первый в нашем роду, которого отец дерзнул послать в гимназию, на одну скамейку с господами».

В 1916 году Малышкин окончил филологический факультет Петроградского университета. Уже во время учёбы в университете пишет реалистические рассказы об уездной жизни .

После окончания университета Малышкин был призван в армию, досрочно произведён в прапорщики и направлен в Севастополь, в действующий Черноморский флот. С 1918 по 1920 годы участвовал в Гражданской войне на Восточном, Туркестанском и Южном фронтах; принимал участие в операциях по овладению Крымом. В 1925 году после службы в РККА заведывал военно-морским отделом газеты «Красная звезда».

Входил в литературную организацию «Перевал». Был одним из руководителей Всерососсийского союза советских писателей, членом редколлегии журнала «Новый мир». Жил в Москве в знаменитом «Доме писательского кооператива» .

Жена Вера Малышкина, сын Георгий Александрович Малышкин, в 18 лет погиб на Курской дуге, командир взвода танков.

Известность Малышкину принесла написанная в 1923 году повесть «Падение Даира» — одна из первых в советской литературе попыток осмыслить народный характер революции.

Широкое читательское признание принёс незаконченный из-за ранней смерти роман «Люди из захолустья» , явившийся вершиной творчества писателя. В романе тщательно разработана тема перевоспитания людей в процессе послереволюционных преобразований. «Малышкин обращается к требовавшейся тогда сверху теме первой пятилетки и перевоспитания людей, но сознательно сосредоточивает своё внимание не на машинах и промышленном производстве, а на людях». Также стали известными повести «Февральский снег» и «Севастополь».

В Пензу писатель приезжал в конце января 1938 года для сбора материалов «о новой индустриальной Пензе», собирался написать для пензенского театра пьесу, но 3 августа пришло сообщение о его смерти. Писатель был похоронен в Москве на Новодевичьем кладбище.

В 1950 году в Пензе был издан его сборник «Рассказы, очерки, киносценарии».

В 1977 году в Мокшане был открыт музей А. Г. Малышкина. Его именем названа СОШ № 2 в Мокшане Пензенской области.