Der Name Holbach ist entstanden aus dem Worte: Halebach. In der ältesten Zeit der heidnischen Sachsen stand zu Clettenberg auf dem Heineberg (jetzt Heuberg) der Götze Crodo, welchem mehrere Orte geheiligt waren, z. B. die Eichen, östlich von Clettenberg, die heiligen Eichen (hellen Eichen, jetzt die hellen Eichen bei Liebenrode) ferner der heilige Fluss (genannt) der Halebach.
Der erste Anfang des jetzigen Dorfes Holbach, an diesem Flüsschen erbaut, hatte den Namen Helebach. In welcher Zeit dieser Name verändert wurde, weiß man nicht, die Bezeichnung des Flüsschens ist ganz verschwunden, heute wird er nur noch Mühlgraben genannt. Aus alten Geschichtsbühern ist überliefert: "Das Dorf Holbach im Kreis Nordhausen ist schon im Jahre 1093 als "Holbikk, Holbik" mit "-bik" aus dem niederdeutschen "-beke" stadt "-bach" erstmals erwähnt. 1187 ist der Ort als "Holbach", 1193 als "Holebach" und 1214 als "Holebac" schriftlich überliefert und 1226 einfach als "Hol". Doch 1322 findet sich die heutige Schreibung "Holbach". Der Name bezeichnet einen in einer "Höhle" fließenden Bach, dessen Name auf den daran liegenden Ort übertragen wurde; der Bach selbst erhielt übrigens später den Namen "Mühlbach".
Die Zeit der Entstehung des Dorfes ist ungewiss, doch fällt sie noch vor das Jahr 1000. Geschichtlich wird der Ort Holbach zuerst im Jahre 1093 erwähnt. Vor dieser Zeit und auch wohl noch später war Holbach wahrscheinlich nur ein Hof, ein Einzelhof- ein Vasallensitz mit einigen Arbeiterhäusern. Basierend auf diesen Sachverhalt feierten die Bewohner des Ortes in der Zeit vom 04. bis 06. Juni 1993 den 900. Geburtstag der Ansiedlung mit einer würdigen 900-Jahrfeier.
Die Kirche "St. Bartholomäus" ist mit dem Turm 1745 erbaut wurden, brauchte aber bereits 1773 eine Reparatur. Die kleine Saalkirche hat im Süden einen Turm mit einer barocken Fachwerkhaube. 1994 erhielt er eine vergoldete Kugel mit Kreuz und Wetterfahne als Krönung. Mit Hilfe der Deutschen Stiftung Denkmalschutz in Bonn wurde die Kirche gründlich restauriert. Im Gotteshaus befindet sich das Erbbegräbnis der Besitzer des einstigen Rittergutes Klettenberg, der Herren von Zengen.
Das Schulgebäude, gleich neben der Kirche gelegen, ist im Jahre 1794 erbaut worden. 1839 erfolgte eine umfassende Sanierung. Die Schulstube wurde verändert und vergrößert. Bis zum Jahre 1950 hatten Schulkinder hier Unterricht.