Die Höhle hat ihren Namen vom Volksmund erhalten, der so manche Geschichte von den Zwergen erzählen weiß. Sie ist nicht begehbar.
Das Zwergenloch ist eine Kalk- und Tropfsteinhöhle von ca. 12 m Länge und 7 m Breite. Im Hintergrund befinden sich Gänge, von denen einer in den Berg führt. Oberhalb der Höhle soll sich ein weiterer Eingang befunden haben, der heute jedoch zugeschüttet ist. Es wird für möglich gehalten, dass einer der Gänge zur Burg Neuenberg führte und als geheimer Ausgang genutzt worden ist.
Ausgrabungen fanden Spuren urzeitlicher Nutzung aber auch aus der Zeit des dreißigjährigen Krieges.
