Hřbitov vznikl při stavbě pevnosti a je jeden z prvních v Čechách, které byly založeny mimo město. Jsou tu pohřbeni velitelé pevnosti, josefovští měšťané, padlí ve válkách a zajatci. Zemřelým zajatcům z první světové války je věnován pozoruhodný pomník ruského sochaře N. A. Suškina z roku 1916.
Je zde pochováno přes 2 000 zajatců a vojáků rakousko-uherské armády, kteří během války zemřeli v pevnosti a v dnes již bývalé vojenské nemocnici v Josefově.