Der Ursprung für das Kirchgrubenholz liegt schon in der Frühzeit der Menschheitsgeschichte und geht auf die Mittelsteinzeit zurück, die ca. 5.000 v. Chr. mit dem endgültigen Sesshaftwerden unserer Vorfahren endete. Der Platz beim Kirchgrubenholz war eine Freilandstation - ein Wohnplatz saisonal sesshafter Jäger und Sammler. Ludwig Stetter konnte in den 1980er Jahren durch Lesefunde auf den umliegenden Äckern unter anderem Klingen, Kratzer, Schaber sowie Stichel finden, die als spezifische Handwerks- und Jagdgeräte der Jäger zum Ritzen, Schneiden und Schaben dienten.

Jahrtausende später bis in die Neuzeit wurden im Kirchgrubenholz die Steine aus Gelbsandstein zum Bau der Häuser gebrochen. Prominentes Beispiel sind dabei der Bau der Pfarrkirche in Rickenbach von 1840 bis 1846 und die Herstellung des mächtigen Kreuzes in 1823 durch den Steinmetz Fridolin Vogt aus Willaringen.