Хэролд Роум окончил городскую среднюю школу в Хартфорд, получил степень бакалавра архитектуры в Йельском университете (1929), затем окончил Йельскую школу права. После окончания университета Роум работал архитектором в Нью-Йорке - и одновременно сочинял  музыку для местных групп и ставил ревю в Грин Мэншенз, еврейском летнем курорте в Адирондакских горах.

В 1937 г. он дебютировал на Бродвее в качестве соавтора, композитора и автора текстов сатирического ревю "Булавки и иголки". Через две недели это ревю было приспособлено для развлечения членов Международного союза работников швейной промышленности, которые в это время бастовали. Шоу имело огромный успех и было показано 1108 раз, что побудило Джорджа Кауфмана и Мосса Харта в 1938 г. пригласить Роума к совместной работе над очередным тематическим ревью - Sing Out the News.

В начале 1940-х Роум написал песни для нескольких ревю и шоу, но только после окончания Второй мировой войны он добился своего следующего реального успеха, сочинив текст и музыку для ревю Call Me Mister. Его первый полноценный мюзикл "Хочу, чтобы ты была здесь" был поставлен в 1952 году. Другие бродвейские работы Роума включают "Фанни" (1954), "Дестри снова в седле" (1959), "Я могу получить это для тебя оптом" (1962), в котором Барбра Стрейзанд дебютировала на Бродвее, и "Зулу и Зайда" (1965), посвященный расовой и религиозной нетерпимости. В 1970 г. он написал музыкальную адаптацию "Унесённых ветром" под названием "Скарлетт" для токийского театра.

Музыку и тексты Роума можно услышать в фильмах Rear Window, Anchors Aweigh, Thousands Cheer и Babes on Broadway. В 1991 г. он был удостоен специальной премии Drama Desk Award за "выдающийся вклад в музыкальный театр". Позже в том же году он был введен в Зал славы Американского театра. Он также был художником и коллекционером произведений искусства.

Имя Хэролд происходит от древне-английского Hereweald, состоящего из элементов here - "армия" и weald - "лидер, правитель". Имя Джейкоб - английская форма библейского имени Иаков. Rome - город Рим.