Родился 22 февраля (6 марта) 1815 года в семье чиновника Павла Алексеевича Ершова (1784—1834). Отец по делам, связанным со службой, часто переезжал. Ершовы пересекали цепь казачьих поселений, посещали места, где были ещё свежи предания о временах Ермака и Пугачёва. В 1827 году родители определили Петра и его брата Николая в Тобольскую гимназию.

В студенческие годы Ершов сблизился с профессором русской словесности Петром Плетнёвым, познакомился с Василием Жуковским и Александром Пушкиным. На их суд девятнадцатилетний студент отдал своё первое крупное произведение — сказку «Конёк-горбунок», прочитав которую, Пушкин с похвалою сказал начинающему поэту: «Теперь этот род сочинений можно мне и оставить». Плетнёв во время одной из лекций прочитал с университетской кафедры отрывок из «Конька-горбунка» и назвал студентам автора сказки — их сокурсника Петра Ершова, сидевшего в аудитории.

Другой отрывок из «Конька-горбунка» появился в мае в «Библиотеке для чтения» (1834, т. 3), а в октябре 1834 года сказка Ершова была опубликована отдельным изданием. Успех сопутствовал молодому поэту: в декабре того же года к печати была одобрена первая часть «Сибирского казака», а затем и вторая часть этой «старинной были»:

Он сделал бы для Сибири много, если б занялся естественными науками… или снял бы с себя официальный сюртук, обратился в обыкновенного смертного и отдался изучению бытовой жизни простого народа; деля с народом труды и досуг в обозе, на белкованье, на полатях, участвуя на его свадьбах и сходках, он мог бы сделаться народным поэтом Сибири.

Ершов инициировал открытие женских школ в нескольких населённых пунктах (в том числе в Ишиме), а также «Общества вспомоществования студентам Тобольской губернии».

Был инициатором создания любительского гимназического театра. В театре занимался режиссурой. Написал для театра несколько пьес: «Сельский праздник», «Суворов и станционный смотритель» (1835), комическую оперу «Якутские божки», «Черепослов».

Весной 1862 года Ершов подал в отставку.

Печатал свои стихотворения в Библиотеке для чтения Сенковского и в «Современнике» Петра Плетнёва.

Умер 18 (30) августа 1869 года. Похоронен в Тобольске на Завальном кладбище.