Отец-футурист дал ему при рождении экзотическое имя Уотт-Зангвильд-Иоанн. Мать — медик (фельдшер) Серафима (Сима) Лесохина, еврейка из раввинского рода. Елагин приходился двоюродным братом поэтессе Новелле Матвеевой, дочери его дяди Н. Н. Матвеева. От данного при рождении отцом экзотического имени осталось только прозвище «Залик».

В 1940 году Иван ездил в Ленинград, чтобы получить напутствие от Анны Ахматовой. Этой короткой встрече поэт позднее посвятил стихотворение «Я никогда не верил…» и поэму «Память». Первой публикацией Ивана Матвеева (январь 1941) стал авторизованный перевод стихотворения Максима Рыльского «Концерт».

В годы Великой Отечественной войны продолжал жить в Киеве вместе с женой.

Никто не смог дать окончательный ответ: как так вышло, что Матвеевы не эвакуировались, а остались в Киеве и «оказались под немцами». Наверняка — не нарочно, не потому, что не верили советской пропаганде и считали сообщения о немецком истреблении евреев очередной ложью ТАСС. Иван, недоучившийся врач из Второго медицинского, работал на «скорой помощи», вывозил раненых из пригородов в больницы и едва ли заметил мгновение, когда Киев перестал быть советским <…> (DP camp, от англ. Displaced Person — перемещённое лицо). Затем поселился в Мюнхене. Там же в 1947 году был издан первый поэтический сборник «По дороге оттуда», подписанный псевдонимом Елагин, выбранным под влиянием Блока (стихотворение «На островах»).

С 1950 года жил в США. Работал на радиостанции «Свобода», одновременно с этим обучался в Колумбийском, далее в Нью-Йоркском университете. Преподавал в колледже Миддлбери.

Перевод эпической поэмы Стивена Винсента Бене «Тело Джона Брауна» принёс Елагину в 1969 году степень доктора в Нью-Йоркском университете, а в 1970 году он защитил диссертацию и стал профессором Питтсбургского университета, где преподавал русскую литературу.

Стихи Елагина публиковались почти в каждом номере «Нового журнала» с 1961 по 1987 год, а также в альманахе «Перекрёстки» (позднее «Встречи»); его переводы из американской поэзии печатались в каждом номере журнала «Диалог — США» до 1988, изредка в журнале «Америка». От изданной в 1959 году книги «Политические фельетоны в стихах» поэт позднее отказывался как от «заказной».

31 декабря 1971 года Елагин вместе с семьёй попал в автокатастрофу по дороге из Чикаго. В аварии все остались живы, но Елагин больше месяца провёл в больнице. Этому событию он посвятил стихотворение «Наплыв», в котором звучат ключевые для понимания его творчества слова: «во времени, а не в пространстве».