Auf einem Berg, östlich der Ortschaft Wirme, liegt der Wallfahrtsort Kohlhagen. Die Geschichte dieses Ortes reicht zurück ins ausgehende Mittelalter.
Wallfahrtsbild der Kohlhagener Kirche ist eine aus Lindenholz geschnitzte Pieta (Schmerzensmutter), deren Entstehungszeit um 1420 liegen dürfte. Am 2. Juli 1490 stiftete die Familie von und zu Bruch für die Kapelle auf dem „Havescheidt“, wie Kohlhagen damals noch hieß, eine Vikarie. Dadurch erfuhren die Einwohner der Orte Brachthausen, Emlinghausen, Silberg, Varste und Wirme sowie der Höfe Ahe, Mark und Breitenbruch Erleichterung hinsichtlich des Besuchs der Sonntagsgottesdienste. Vorher ging man sonntags zur hl. Messe nach Kirchhundem.
Eine Kapelle dürfte schon lange Zeit vor der Vikariestiftung bestanden haben. Zwei steinerne Masken, die an der Außenfassade der heutigen Kirche angebracht sind, stammen offenbar von einem Vorgängerbau. Sie könnten darin die Funktion von Konsolenköpfen der Apsisgrate gehabt haben. Eventuell waren es auch Neid- oder Schreckköpfe, die an der Westfassade der vorherigen Kapelle angebracht waren. Kunsthistorisch betrachtet weisen die Masken romanische Stileigenschaften auf, was für ein hohes Alter spricht.
1655 wurde Kohlhagen mit den oben genannten Dörfern und Höfen von Kirchhundem abgepfarrt und eine eigenständige Pfarrei. Von dieser wurde 1924 die Kirchengemeinde Silberg/Varste abgetrennt.
Von 1843/44 bis 1969 bildete das Kirchspiel Kohlhagen in seinen Grenzen von 1655 eine politische Gemeinde im Amt Kirchhundem.
Die heutige Kirche wurde in den Jahren 1703 bis 1707 an der Stelle des Vorgängerbaus errichtet. Sie beinhaltet eine reichhaltige Barockausstattung aus der Werkstatt von Peter Sasse, Attendorn. Die im Kirchenschiff hängende Strahlenmadonna stammt möglicherweise aus der Werkstatt von Nikolaus Theodor Düringer. 1745 erhielt die Kirche eine Orgel, die Anfang des 19. Jahrhunderts um zwei seitliche Flachfelder von je drei Pfeifen erweitert worden ist.
Zum Ensemble auf Kohlhagen gehört auch das benachbarte Küsterhaus mit Pilgersaal, ein in großem Kreis um die Kirche angelegten Kreuzweg sowie der unmittelbar um die Kirche gelegene liebevoll gepflegte Friedhof.
Von Emlinghausen und Wirme führen jeweils Pilgerwege mit den Stationen der 7-Schmerzen-Mariens zur Wallfahrtskirche hinauf.
Im Küsterhaus auf Kohlhagen befindet sich heute ein Konvent mit drei Ordensschwestern der Armen Dienstmägde Jesu Christi (Dernbach). Die Schwestern nehmen den Küsterdienst an der Pfarr- und Wallfahrtskirche Mariae Heimsuchung wahr und sind Ansprechpartnerinnen für die Pilgerinnen und Pilger.
Zum 31.12.2020 hat Kohlhagen 6 Einwohner.
