Im Jahr 1852 errichtete August Ernst Meffert im Auftrag der Witwe des Guts- und Kurhauspächters Müller ein Hotel an der Promenade unterhalb der Kurklinik. Es erhielt den Namen „Hotel Müller“ und war weit über die Stadtgrenze bekannt. In vielen Reiseführern wurde es in den höchsten Tönen gelobt und als schönstes Gebäude der Stadt genannt. 1867 übernahm der Sohn des Kurhauspächters die Leitung des Hotels. Unter seiner Leitung fanden viele private Musikveranstaltungen mit namhaften Musikern und Orchestern statt. Ab 1880 pachtete der Hotelier Franz Schmidt das Hotel und kaufte es schließlich 1888. Er gab dem Hotel den Namen „Herzogin Charlotte“, unter dem es auch heute noch bekannt ist.

Mit dem Ersten Weltkrieg wurde aus dem Hotel die Augenheilanstalt Charlotte mit Lazarett. 1919 pachtete Hermann Gruber das Gebäude und betrieb es wieder als Hotel Charlotte. Auch im Zweiten Weltkrieg wurde das Gebäude als Lazarett genutzt. Nach dem Krieg führte Gruber das Hotel wieder und nach seinem Tod 1956, übernahm es seine Tochter und führte es als Vertragsheim der Kurverwaltung weiter. Dann folgte 1976 die Enteignung, das Volksheilbad übernahm das Haus und begann mit der Sanierung. Nach zwei Jahren wurde es unter dem Namen Albert Schweizer wiedereröffnet. Nach der Wende pachtete die Fachklinik das Gebäude bis zur Fertigstellung des Neubaus und zur Unterbringung von Krankenschwestern.

Dann sollte die Stadtverwaltung in das Gebäude einziehen, die Pläne scheiterten. Es folgten mehrere Besitzerwechsel, während das Gebäude immer weiter verfiel. 2016 kauft die Stadt schließlich das marode Gebäude von einem irischen Investor. Dann sollte 2019 der Verkauf an die AWO-Tochter AJS erfolgen, diese wollte zwei Senioren-Wohngemeinschaften nach der Renovierung unterbringen. Im März 2020 starteten die Vorarbeiten und es folgte der denkmalgerechte Abriss, nur das Erdgeschoss aus Sandstein blieb erhalten, außerdem wurde die komplette Fassadenverzierung gesichert und soll wiederverwendet werden. Die Stadt übernahm die Kosten dafür. 2022 sollen die weiteren Bauarbeiten beginnen, sofern ein zusätzlicher Investor gefunden wird.