Левин окончил Йельский университет (1960), там же получил юридическую степень (1963). В 1963-76 гг. - партнёр и директор по исследованиям в Loeb, Rhoades & Co., в 1976-82 гг. - партнёр в Steinhardt Partners. В 1982 г. Левин основал компанию John A. Levin & Co., Inc., занимавшуюся инвестиционным менеджментом. В 1997 г. компанию с болле чем 100 сотрудниками приобрела Baker, Fentress & Co., а Левин оставался её генеральным директором до 2005 г. В 2006-м он основал компанию Levin Capital Strategies, LP., которая управляет активами для институциональных и частных инвесторов. Левин является членом Консультационного совета Йельской школы менеджмента, членом Попечительского совета Медицинского центра "Маунт-Сайнай" и др.

Имя Джон - английская форма библейского имени Йехоханан, означающего "Яхве милостив". Имя Эндрю - английская форма евангельского имени Андрей, происходящего от древнегреческого слова андреос - "мужественный". Фамилия Левин произошла от названия колена Левия.