Noch viel früher, vor rund 4.000 Jahren, entdeckten den Felsen wohl schon die Kelten für sich, die ihn als Kultstätte nutzten. Außerdem soll der Veitenstein einst Querkel, also Zwerge, beherbergt haben. Sie stahlen den Hausfrauen von Lußberg jedoch die Klöße aus den Kochtöpfen. Als die Damen das bemerkten, bedeckten sie die Töpfe mit Deckeln und die Querkel verschwanden. Ihre frühere Behausung, das so genannte Querkelesloch, kann noch immer von Kindern erkundet werden.
Der Veitenstein liegt heute in Oberfranken und ist dort Teil der Gemeinde Baunach. Bemühungen der unterfränkischen Gemeinde Breitbrunn (Lkr. Haßberge), das beliebte Ausflugsziel zugesprochen zu bekommen, schlugen vor einigen Jahren fehl. Dennoch kümmert sich bis heute der Haßbergverein Breitbrunn-Lußberg um das sagenumwobene Denkmal.