Die Ersterwähnung von Silberg stammt von 1383 und ist in einem Einkünfteverzeichnis der Pfarrei Helden zu finden. Bereits 1393/94 und 1395 gibt es die nächsten urkundlichen Nachrichten zu dem Dorf. Im ersten dieser Belege erscheint Hans von Selberg als Freigraf am Freistuhl zu Hundem. Einen weiteren Nachweis zu ihm gibt es 1397, als Reinhard, Herr zu Westerburg, die Stadt Frankfurt vor dem Freistuhl zu Bamenohl verklagt.
Kirchlich gehörte Silberg im Mittelalter und der frühen Neuzeit zur Pfarrei Kirchhundem und ab 1655 zur davon abgetrennten Pfarrei Kohlhagen. 1785 wurde durch die Jungfer Maria Theresia Nies eine Schulvikarie für Silberg gestiftet. Dadurch wurde der Grundstein für die 1924 errichtete Kirchengemeinde Silberg Varste gelegt. Eine Kapelle ist für den Ort bereits 1647 nachweisbar, 1721 erfolgte ein Neubau. Schon 1873 wurde wiederum eine neue Kapelle in Silberg erbaut, 1877 erfolgte dann im Rahmen des Kulturkampfes die Auflösung der Schulvikarie. 1968/69 wurde die heutige katholische Kirche errichtet.
Zum 31.12.2020 hat Silberg 424 Einwohner.
Das Dorf Silberg war wirtschaftlich jahrhundertelang durch Erzbergbau geprägt. Abgebaut wurden Blei- und Zinkerze in den Gruben Glanzenberg und Goldberg. Aufgrund des Preisverfalls ging der letzte Betrieb 1935 ein. Im ehemaligen Bergmannsheim der Gewerkschaft Grube Glanzenberg befindet sich heute das Seniorenheim der Bremm’schen Stiftung.
Eine herausragende Stellung im Vereinsleben des Dorfes hat der 1909 gegründete Turn- und Sportverein Silberg-Varste, der 1927 eine eigene Turnhalle einweihen konnte. 1996 wurde zum Großteil in Eigenleistung des Vereins die heutige Turn- und Sporthalle erbaut.
Weltweit bekannt wurde Silberg durch den 1998 gegründeten BobbyCarClub Deutschland e.V., der einen Rennsport der etwas anderen Art pflegt. Der Verein – mittlerweile umbenannt in MiniCart-Club e.V. - engagiert sich stark für die Erhaltung und Nutzung des so genannten Schrabben Gutes, dessen Haupthaus und Backhaus als Baudenkmäler in die Denkmalliste der Gemeinde Kirchhundem eingetragen sind. Im Haupthaus ist das Gemeinde-Heimatmuseum Silberg eingerichtet. Der ehemalige Fruchtboden des Gebäudes wird durch die MuT Sauerland e.V. zu einer Kleinkunstbühne umfunktioniert.
Tradition hat in Silberg die Feier des Karnevals; sie ist bereits seit 1911 in Unterlagen des TuS Silberg-Varste nachweisbar. Von 1957 bis 1976 und dann wieder seit 1996 fanden regelmäßig Prinzenproklamationen statt. Der Karnevalverein Silberg e.V. ist allerdings recht jung und erst im Jahr 2000 gegründet worden.
Eine Löschgruppe der Freiwilligen Feuerwehr gibt es in Silberg seit 1928. Das heutige Gerätehaus der Löschgruppe wurde 1996 an das 1930 errichtete angebaut.
Südlich bzw. südöstlich von Silberg liegen die Naturschutzgebiete Sellenbruch sowie Dollenbruch, Danzeplatz und Teufelsbruch. Ersteres ist für seinen bedeutenden Königsfarnbestand bekannt. Bei den anderen handelt es sich um Wachholderheiden.
