Кавальери вырос в богатой еврейской семье, изучал инженерное дело и архитектуру в Политехническом университете Милана, окончил с отличием в 1932 г. Его отец был руководителем страховой компании Assicurazioni Generali, и Кавальери стал штатным архитектором компании. Он был призван в итальянские ВВС во время Второй итало-эфиопской войны, проектировал аэродромы в Ливии для правительства Италии.

Кавальери бежал в Соединённые Штаты в 1939 г. после того, как фашистский режим захватил его активы и принял законы, ограничивающие права евреев. Прибыв в США, он поселился в Балтиморе, позже вступил в армию Соединённых Штатов. Во время Второй мировой войны служил в Европе, проверял надёжность мостов и адаптировал захваченные немецкие казармы для использования союзными войсками, был награждён Бронзовой звездой.

В 1946 г. Кавальери создал в Нью-Йорке собственную архитектурную фирму, специализировавшуюся на реставрации и модернизации исторических зданий. Среди его первых проектов такого типа - дизайн фасада и вестибюля 25-этажного офисного небоскрёба Фиск-Билдинг в Мидтауне. В 1960-х годах Кавальери вступил в зарождающееся движение за сохранение исторического наследия Нью-Йорка. В этот период он осуществил свой самый известный проект по восстановлению экстерьера и перепроектированию интерьера здания суда Джефферсон-Маркет для его использования в качестве филиала Нью-Йоркской публичной библиотеки.

Кавальери также перестроил одно из старейших общественных зданий Нью-Йорка, Astor Library, превратив его в Публичный театр им. Джозефа Паппа, и отреставрировал Tеатр Делакорта в Центральном парке, в котором многие годы проходил нью-йоркский Шекспировский фестиваль.

Среди других подобных проектов Кавальери - перрон прибывающих поездов Центрального вокзала, часовня Доброго Пастыря и фермерский дом Джеймса Блэквелла на Рузвельт-Айленде, историческая синагога на улице Элдридж, музей искусств Нью-Йоркского университета Grey Art Gallery. В 1982 г. он руководил расширением и реставрацией библиотеки Института Пратта в Бруклине, в 1991 г. спроектировал реконструкцию пирса 107-й улицы на Ист-Ривер в Манхэттене. Он также спроектировал новые здания публичных библиотек в Кипс-Бей и Спайтен-Дуйвилл, участвовал в создании Надземного парка Хай-Лайн в Челси.

Кавальери занимал, в разное время, посты председателя Попечительского совета Национального института архитектурного образования, президента нью-йоркского отделения Американского института архитекторов, президента Муниципального художественного общества. В 1970 г. он был избран членом Национальной академии дизайна. Он продолжал работать в той же студии, которую он основал в 1946 г., почти до самой смерти.

Имя Джорджо - итальянская форма греческого имени Georgios, происходящего от georgos - "крестьянин". Фамилия Кавальери означает по-итальянски "всадник" или "рыцарь".