Von 1830 bis 1835 entstand nach Plänen des preußischen Architekten und Stadtplaners Karl Friedrich Schinkel dem Kammergericht in der Berliner Lindenstraße gegenüber eine fast freistehende Sternwarte. Keine 40 Jahre später war das Gebäude bereits vollkommen eingebaut, und das nächtliche Licht, der Großstadtdunst und die Erschütterungen der Hochbahn ließen exakte astronomische Beobachtungen kaum mehr zu. Eine Beobachtungsstation für die Astronomie und die Astrophysik "an einem günstig gelegenen Punkt in der Nähe Berlins, ... welche gleichzeitig als magnetische und meteorologische Hauptstation fungieren sollte", forderte daher der Astrophysiker Hermann Carl Vogel 1871 in einem Memorandum. Man benötige zwingend ein freies Gelände ohne Erschütterungen und in reiner Luft.
Das Gelände dafür fand sich auf dem Potsdamer Telegrafenberg, wo man bereits 1832 einen optischen Telegrafen errichtet hatte. Unter der Oberleitung des Stüler-Schülers Paul Emanuel Spieker (1826-1896) wurden nun in den 1870er und 1880er Jahren in bester preußischer Tradition Form und Zweckmäßigkeit verbindende Backsteinbauten für das 1874 gegründete Astrophysikalische Observatorium Potsdam errichtet: das Hauptgebäude, das Meteorologisch-Magnetische Observatorium und das Geodätische Institut. Insbesondere für die Spektralanalyse der Gestirne erlangte das Observatorium des weltweit ersten, exklusiv dem neuen Forschungszweig der Astrophysik gewidmeten Instituts rasch Anerkennung. 1896 machten die gestiegenen Ansprüche an exakte wissenschaftliche Ergebnisse ein größeres Fernrohr notwendig. So entstand das Kuppelgebäude bis 1899. Für den Großen Refraktor zeichnete wieder Spieker vor seinem Tode die Pläne. Die völlige Reduktion des Baus auf seine Funktion ist den knappen Mitteln geschuldet, obwohl eine private Initiative 600.000,- Mark für den Bau gesammelt hatte.
Das Teleskop ist ein Doppelrefraktor, der zwei fest miteinander verbundene Fernrohre auf einer speziellen Montierung vereinigt. Bei dem viertgrößten Linsenrohr der Welt hat das größere Rohr ein Objektiv von 80 Zentimetern Durchmesser und eine Brennweite von 12,2 Metern, das kleinere, für visuelle Beobachtungen bestimmte Objektiv dagegen nur einen Durchmesser von 50 Zentimetern und eine Brennweite von 12,5 Metern. Der lichte Durchmesser der drehbaren Kuppel beträgt 21 Meter, ihr Gewicht 200 Tonnen.
Im April 1945 wurden der Große Refraktor und andere Bauten bei einem Luftangriff in Teilen schwer beschädigt. In den 1950er Jahren erfolgte eine Wiederherstellung von Gebäude und Instrument, doch 1968 wurde der Beobachtungsbetrieb "auf höhere Weisung" und damit die weitere Pflege eingestellt.
Seit 1997 bemüht sich ein Förderverein um die Erhaltung der Anlage. Dank der in der Treuhandschaft der DSD gegründeten Pietschker-Neese-Stiftung konnte in Zusammenarbeit mit dem Astrophysikalischen Institut Potsdam, dem Land Brandenburg und dem Landesamt für Denkmalpflege die Initiative des Vereins zum Erfolg geführt werden. Das Rohr wurde von Mai 2003 bis zum Sommer 2005 repariert und am 31. Mai 2006 feierlich übergeben.