Ursprünglich wurde das Zeltnerschloß wirtschaftlich von einem Hammerwerk getragen, das 1336 erstmals urkundlich erwähnt wurde.Als Besitzer ist im 14. Jahrhundert Reichsschultheiß Konrad Groß, der Stifter des Heilig Geist Spitals, nachzuweisen.Schon vorher waren die Stromer da, und im 15. Jahrhundert erscheint als Eigentümer der nach Groß wohl bedeutendste Finanzmann aus der Epoche des Nürnberger Frühkapitalismus, Herdegen Valzner.
1522 wurde das Schloß von Jörg Schlauderbach, einem Geschäftsmann aus der Steiermark und Freund Albrecht Dürers, gekauft. 1552 wurde das Anwesen von den Berittenen des Markgrafen Albrecht Alcibiades zerstört und einige Zeit später in seiner heutigen Gestalt wieder aufgebaut.
1795 wurde der aus Goethes "Dichtung und Wahrheit" vertraute "König von Königsthal" Schloßherr; 1835 folgte ihm erstmals ein Vertreter der modernen Geldaristokratie, der bekannte Ultramarinfabrikant Johannes Zeltner, der bis heute der Namensgeber des Schlosses ist. Bis zu diesem Zeitpunkt trug es, wegen des zugehörigen Hammerwerkes "Gleißhammer" den gleichen Namen.
In den 20er Jahren unseres Jahrhunderts wurde das Schloß Eigentum der Deutschen Reichsbahn. Seit 1985 ist in den Nebengebäuden der Kulturladen Zeltnerschloß beheimatet. In dem Hauptgebäude befinden sich einige Mietwohnungen.
