Родился 19 (31) марта 1822 года в селе Черемшан (Никольское) Ставропольского уезда Симбирской губернии.

Его отец-дворянин был отставным гусаром и служил управляющим имением матери писателя В. А. Соллогуба; купил имение Дулебино в Каширском уезде Тульской губернии и стал помещиком. Мать — француженка Сидония де Вармон (фамилия по первому мужу; в России Сидония Петровна). Григорович лишился отца в 1830 и вырос на руках матери и бабушки, которые дали ему французское воспитание. Будучи наполовину французом, Григорович в ранней молодости недостаточно хорошо владел русским языком, долго говорил с французским акцентом.

В 8 лет его отвезли в Москву, где он учился в Московской гимназии (1831—1833) и пробыл около 3 лет во французском пансионе «Монигетти». По окончании его в 1836 году поступил в Санкт-Петербургское инженерное училище, в котором проучился до 1840 года. В училище познакомился с Ф. М. Достоевским (был первым читателем его повести «Бедные люди»), который пробудил в нём тягу к литературе. Склонности к военной карьере Григорович не имел; ушёл из училища после дисциплинарного проступка (на улице не отдал честь великому князю Михаилу Павловичу).

В 1840 году брал уроки живописи, занимался в Академии художеств, где познакомился с Тарасом Шевченко. В том же году познакомился с издателем А. А. Плюшаром, для его сборника «Переводчик, или сто одна повесть» перевёл (с французского) повесть А. Пишо «Плавучий маяк».

Впечатления от Академии художеств, от личности и судьбы Тараса Шевченко отразились в повести «Неудавшаяся жизнь», обещанной «Современнику», но не опубликованной в нем, а напечатанной под названием «Неудачи» в «Отечественных записках», 1850, № 9 (своего рода «облегченной» и укороченной ее вариацией выступает его рассказ «Часы» в неоконченном цикле «Рассказы о житейских глупостях», «Современник», 1850, № 2).

В 1858—1859 годах Григорович по поручению морского министерства совершил путешествие вокруг Европы и описал его в ряде очерков, носящих общее заглавие «Корабль Ретвизан».

18.05.1881 в должности отставного Титулярного советника вступил во второй брак (как вдовец по первому браку) с Австрийской подданной девицей Марией Гроц.

Скончался 22 декабря 1899 (3 января 1900) (по другим сведениям — 26 декабря) в Петербурге; похоронен на Литераторских мостках.