Hřbitov byl založen roku 1917 poté, co v táboře přeplněném židovskými uprchlíky z Haliče a Bukoviny, který se nacházel na území dnešní psychiatrické léčebny, vypukla epidemie skvrnitého tyfu a pro její oběti již nebylo místo na židovském hřbitově v centru města. Pohřbívání zde však bylo ukončeno bezprostředně po skončení první světové války.
Prostor hřbitova byl udržován po celé období první republiky, přestože Německý Brod zaznamenával úbytek židovského obyvatelstva. Kvůli holokaustu se po druhé světové válce na hřbitov téměř zapomnělo a jeho prostor téměř šedesát let chátral. Peníze na jeho nejnutnější opravy a údržbu byly poprvé poskytnuty až v roce 2004.
