Carl von Fischer (1782-1820) wurde als Sohn eines Kaufmanns in Mannheim geboren. 1796 zog die Familie nach München, wo er ab 1797 eine erste Architekturausbildung am staatlichen Bauamt bei Maximilian von Verschaffelt (1754-1818), einem Freund seines Vaters, erhielt. Nach dessen Berufung an die Akademie in Wien setzte Fischer dort seine Ausbildung von 1802 bis 1806 fort. Gleichzeitig übernahm er die Leitung einiger Bauten Verschaffelts.
Noch in Wien erhielt Fischer einen ersten Bauauftrag in München, das Palais Salabert (Prinz Carl Palais), und avancierte zum Protegé von Graf Montgelas (1759-1838), der einen an französischen Vorbildern geschulten Architekten suchte. Zu Montgelas’ Reformplänen für München gehörte auch die Gründung einer Akademie der Bildenden Künste, für die 1806 der 24-jährige Fischer zum ersten Professor für Baukunst ernannt wurde. Bis zur Eröffnung der Bauschule 1809 reiste Fischer nach Paris und Rom, wo er prägende Eindrücke erhielt. Von dieser Reise brachte er auch Zeichnungen für seinen späteren Architekturunterricht an der Akademie mit.
Ab 1809 entfaltete Fischer in München eine rege Planungs- und Bautätigkeit. Zu seinen Hauptwerken zählen das Nationaltheater, mehrere Bauten am Karolinenplatz und ein Belvedere im Biedersteiner Park. Seine Entwürfe für eine Glyptothek und eine Walhalla kamen nicht zur Ausführung, da Kronprinz Ludwig (1786-1868, König 1825-1848) 1816 Montgelas entmachtete und die wichtigen Positionen im Bauwesen mit seinen Günstlingen besetzte. Leo von Klenze (1784-1864) erhielt den Auftrag zum Bau der Glyptothek und wurde 1818 zum Hofbauintendanten ernannt. Nur zwei Jahre später starb Fischer im Alter von nur 37 Jahren in München.
Als im Zuge der wachsenden Bedeutung einer technischen Ausbildung 1868 eine neue Polytechnische Schule (seit 1877 Technische Hochschule, seit 1970 TUM) mit einer Architekturabteilung eröffnet wurde, kamen der Nachlass Fischers, 300 exquisit aquarellierte Entwurfspläne sowie die an der Akademie der Bildenden Künste verwendeten Zeichnungen als Grundstock der heutigen Plansammlung des Architekturmuseums an die Hochschule. Der Bestand Zeichnungen gehört heute zu den größten Schätzen der Sammlung. Fischers Skizzenbuch seiner Reise nach Frankreich und Italien wurde 2002 für das Archiv aus Privatbesitz gekauft.