Джеффри, как и его товарищи по знаменитой панк-рок-группе "Рамоунз", учился в средней школе Форест-Хиллз в Квинсе. С 13-ти лет он начал играть на ударных, в 1972 г. начал выступать с глэм-роковой группой "Снайпер" в качестве вокалиста.

В 1974 г. Джеффри вместе с двумя друзьями основал группу "Рамоунз", причём все трое взяли себе псевдонимы, содержащие имя "Рамоун". Джоуи Рамоун был в группе вначале ударником, а позже стал основным вокалистом, а также соавтором большинства песен. "Рамоунз" оказали большое влияние на американский панк-рок, хотя и не добились большого коммерческого успеха. Своеобразный голос Джоуи и имидж многолетнего фронтмена группы сделали его иконой контркультуры.

Последний концерт "Рамоунз" состоялся 6 августа 1996 г. в Лос-Анджелесе. Джоуи ещё выступил в качестве продюсера нескольких альбомов других групп. Он умер от рака лимфатической системы после семи лет борьбы с болезнью. Позже были выпущены два его посмертных сольных альбома - "Don’t Worry About Me" (2002) и "Ya know?" (2012). Его памяти посвящено несколько песен других рок-музыкантов. В 2008 г. "Рамоунз" были внесены в Лонг-Айлендский музыкальный Зал славы.

Имя Джоуи - уменьшительное от имени Джозеф, английской формы библейского имени Йосеф. Имя Джеффри - франко-норманская форма германского имени с несколькими вариантами значения. Имя Росс - первоначально английский или шотландский топоним. Фамилия Хайман произошла от идишской формы Хайман еврейского мужского имени Хаим, которое означает "жизнь".