Фриц Яхода родился в еврейской семье, его музыкальный талант впервые проявился в возрасте трёх лет, когда он начал играть на фортепиано мелодии, которые слышал дома. Первое музыкальное выступление Фрица состоялось в возрасте 9 лет в виде сольного фортепианного концерта. В возрасте 20 лет Яхода занял должность главного дирижёра в Дюссельдорфе, Германия, где оставался до 1935 года. В эти годы он также дирижировал оперой в Кёльне, а в 1935-37 гг. работал дирижёром в Государственной опере в Граце (Австрия).

В 1937 году, в предверии Аншлюса, Яхода и его жена Хедвиг (Хексл Крамер, 1909 - 1961) эмигрировали в Лондон, где провели два года, работая и изучая английский язык. Там Фриц время от времени дирижировал Лондонским филармоническим оркестром, а затем приехал в Соединённые Штаты по приглашению профессора Марка Брансуика из нью-йоркского Сити-колледжа.

Его первой должностью в США стал Конверс-колледж в Спартанбурге, Южная Каролина, где он дирижировал оркестром и преподавал музыкальное исполнительство. В 1940 году он принял предложение о преподавательской должности в Колледже Сары Лоуренс в Бронксвилле, Нью-Йорк, а в 1946 году перешёл в Сити-колледж Нью-Йорка, где преподавал оперное искусство, дирижирование, а также дирижировал оркестром и хором.

В 1947 г. Яхода по приглашению австрийского правительства вернулся в Австрию, чтобы дирижировать в Венской государственной опере и Народной опере, но предпочёл вернуться в США и в Сити-колледж. Он занимал должность председателя музыкального отделения Сити-колледжа до выхода на пенсию в 1975 году. На протяжении всей своей преподавательской деятельности Фриц много путешествовал как пианист-солист, а также как участник Нью-Йоркского трио и других камерных музыкальных коллективов.

В 1983 году, обеспокоенные будущим егой музыкальной коллекции, Яхода и его друзья Мэри Чейни Гоулд и Марсия Чапман основали Музыкальную библиотеку Багадус, которая сейчас находится в Блю-Хилл, штат Мэн. С этого момента все его усилия были направлены на библиотеку, её развитие и обслуживание.

Имя  Фридрих (Фриц - уменьшительное) происходит от прагерманских элементов fridu - "мир" и rîhhi - "могучий, богатый". Фамилия Ягода созвучнa украинскому слову "ягода", но произошлa, возможно, от еврейского имени Йеhуда (Иуда).