Die Ortschaft Varste wird erstmals 1395 erwähnt, und zwar in der Urkunde, mit der die Gebrüder Pepersack ein Viertel der Freigrafschaft Hundem an Heinrich von Heggen und Wilhelm Vogt von Elspe verkaufen. Der Verkauf umfasste auch Hannes to dem Varste.
Der Präpositionalzusatz „to dem“ zeigt, dass es sich beim Ortsnamen ursprünglich um eine Stellenbezeichnung, einen Flurnamen handelt, der im Zusammenhang mit einem Waldgebiet stehen könnte. Die Gründung einer Ansiedlung an dieser Stelle wird erst für die Zeit nach dem Jahr 1000 vermutet.
Die in Steuerlisten des 16. Jahrhunderts für Varste verzeichnete Hofstellen „uff dere Burgh“ und „under der Borch“ könnten auf einen untergegangenen Adelssitz hinweisen.
Eine Schule gab es in Varste schon in der ersten Hälfte des 18. Jahrhunderts. 1816 wurde sie mit der Schule in Silberg vereinigt. Erst 1935 wurde im Dorf wieder eine eigene Schule eröffnet, die bis 1967 bestand. Nach ihrer Auflösung fand dort noch bis 1969 Unterricht für das 5. und 6. Schuljahr der Volksschule der Gemeinde Kohlhagen statt.Varste besitzt eine eigene kleine Dorfgemeinschaftshalle, die für öffentliche oder private Veranstaltungen genutzt wird.
Zum 31.12.2020 hat Varste 144 Einwohner.
Eine Kapelle ist für Varste schon 1613 nachweisbar. Aus einem Beleg von 1628 ergibt sich, dass sie schon im 17. Jahrhundert dem hl. Jakobus geweiht war. Der Ort selbst gehörte 1655 zur Pfarrei Kirchhundem und kam dann zur Pfarrei Kohlhagen. Die Zugehörigkeit dazu dauerte bis 1924, als die Kirchengemeinde Silberg/Varste errichtet wurde.
Aus der Zugehörigkeit zum Kirchspiel Kohlhagen resultiert auch die zur politischen Gemeinde Kohlhagen im Amt Kirchhundem im Zeitraum von 1843/44 bis 1969.
Die nähere Umgebung von Varste ist von früheren bergbaulichen Aktivitäten geprägt. Westlich befindet sich der Kuhlenberg, in dem jahrhundertelang nach Kupfer- und Eisenerz geschürft worden ist. 1913 wurde die Förderung nach einer 1898 begonnenen Betriebsperiode endgültig eingestellt. Noch heute findet man in der Landschaft am Kuhlenberg Pingen, Halden und Stollenmundlöcher, die von der langen Bergbautradition hier erzählen. Nördlich von Varste befand sich die Grube „Alwine“, die an der Stelle eines älteren, bereits im 18. Jahrhundert nachweisbaren Bergwerks von 1889 bis 1901 betrieben wurde. Auf dem Gelände der Grube Alwine befindet sich heute ein Walderlebnispfad des Forstamtes Olpe.
