Семья Силвера, в которой он был младшим из шести детей, перебралась в Америку в 1889 г. и поселилась в Нижнем Ист-Сайде. В 15 лет он бросил школу и, чтобы помочь семье, начал работать рассыльным в Америкнской шерстяной компании. Силвер оказался весьма успешным в бизнесе - в 1954 г. он вышел в отставку с постов вице-президента и управляющего этой компании.

С 1928 г. он стал членом Совета попечителей больницы Бет-Израэл, а с 1945 по 1984 г. был президентом Бет-Израэл - дольше, чем кто-либо другой до или после него.

В 1952 г. мэр Нью-Йорка Винсент Импеллитери включил Силвера в состав городского Комитета по образованию, а в январе 1955 г. Силвер был избран президентом этого комитета и занимал этот пост до конца 1961 г. Он был также советником делегации США в женевской Комиссии ООН по правам человека, одним из основателей Медицинского колледжа им. Эйнштейна, президентом Храма Бнай-Ешурун в Нью-Йорке и Интернациональной синагоги в аэропорту им. Кеннеди.

Силвер стал первым лауреатом премии "Человек 20-го столетия", учреждённой Национальной конференцией христиан и евреев. Был также награждён израильской Медалью Победы, почётными степенями университетов Ешива, Сент-Джонс и Фордэм.

Имя Чарльз - английская форма германского имени Карл, происходящего от слова Karlaz со значением "свободный человек". Фамилия Силвер - американизированная Зильбер, от немецкого Silber - "серебро".