Дженет выросла в Милуоки, Висконсин, в очень богатой семье. Она трижды была замужем - за издателем Стэнли Каном (1924-37), за инвестиционным банкиром Джозефом Неффом (1938-69) и за одним из руководителей "Филадельфия Инквайер" Джеймсом Хукером (1974-76). Два последних брака закончились смертью мужа. Главным объектом благотворительности Дженет был Национальный музей естественной истории в Нью-Йорке, которому она пожертвовала 5 миллионов долларов на создание Зала геологии, минералов и драгоценных камней. Этот зал носит её имя, в нём хранится крупнейшая в мире коллекция драгоценных камней, в том числе знаменитый 45-каратный бриллиант "Надежда". Позже Дженет подарила Музею изумрудную брошь "Хукер" (1977) и ювелирный комплект "Hooker Starburst Diamonds" (1994). Она также профинансировала декорирование Синего зала в Белом доме - резиденции президента США.

Имя Дженет - английская форма французского уменьшительного от имени Жанна, которое восходит к выражению "Бог милостив" на иврите. Фамилия Анненберг происходит от немецкого выражения "on am Berg" - "на горе". Фамилия Хукер - топонимическая, от английского hook - "крюк" (напр., излучина реки).