W górnej części Kaplicy znajduje się kopia słynnego obrazu Matki Bożej Ostrobramskiej namalowanego przez Łucję Bałzukiewicz, artystkę pochodzącą z Wilna. Kaplica Dylewska została wpisana do Rejestru Zabytków. Dawniej była miejscem jednej ze stacji podczas procesji Bożego Ciała.
Prace renowacyjne zostały rozłożone na dwa lata. W tym roku zostanie doprowadzony prąd, iluminowane wnętrze, uzupełnione ubytki w elewacji, zostaną również założone nowe rynny, odnowione drzwi i okna. W roku przyszłym pojawią się nowe schody, zagospodarowane zostanie otoczenie, założone zewnętrzne oświetlenie.
Renowację Kaplicy Dylewskiej prowadzą pracownicy Zakładu Gospodarki Komunalnej i Mieszkaniowej oraz Urzędu Gminy w Kadzidle. Koszt zakupu wszelkich materiałów remontowych ponosi Gmina Kadzidło. Prace elektryczne wykona firma Leszka Mielnickiego.