Kaple sv. Josefa je připomínkou bývalého hornictví ve městě Oloví. Doba jejího vzniku se datuje do roku 1550. Zasvěcení kaple sv. Josefovi mělo horníky ochraňovat před důlními neštěstími, kterých v té době bylo mnoho.
Kaple v minulém století zcela zchátrala, ale v roce 2004 začla rekonstrukce Olovským okrašlovacím spolkem. Byly rozebrány zbytky obvodového zdiva a kaple byla znovu postavena od základů.
Zajímavostí je, že kameny vyskládané po obvodu kaple tvořící chodníček jsou z původního obvodového zdiva kaple. Původní vzrostlé stromy (javor klen) byly v roce 2011 pokáceny a byla provedena výsadba mladých stromů (javor červený).
