Родился в семье иммигрантов из Российской империи. Сразу по окончании Колумбийского университета (1928) присоединился к нью-йоркской строительной компании, принадлежавшей его отцу.  Позднее был вице-президентом пароходной компании American Foreign Steamship Corporation, основанной его отцом. Его брат Моррис (1907-1990) в 1940-х помогал приобретать пароходы для нелегальной переправки евреев в Палестину. Калмон Гинзберг был активным членом Федерации еврейских филантропов.
 

Имя Калмон (Кальман) - от греческого перевода "Калонимус" ивритского "Шем Тов", что означает "хорошее имя". Фамилия Гинзберг происходит, вероятно, от названия города Гюнцбург в Баварии.