Die Revolution 1848 hatte es deutlich gezeigt: Die alten Verteidigungsstrategien für die Stadt waren überholt. Die Erstürmung des Zeughauses am 7. Oktober gab den letzten Anstoß zur Verwirklichung von Plänen, die schon unter Franz II./I. entwickelt worden waren und darauf abzielten, die Herstellung von Waffen zu zentralisieren.

Auf einem Grundstück nahe dem heutigen Südbahnhof im dritten Wiener Gemeindebezirk wurden schließlich in den Jahren 1849 bis 1856 zahlreiche Backsteinbauten im Geist des romantischen Historismus mit italianisierenden, byzantinischen und mittelalterlichen Formen errichtet. Das Arsenal war damit die erste Anlage des Festungsdreiecks, das die alte Wiener Stadtmauer ablösen sollte; die Rossauer-Kaserne und die heute nicht mehr existierende Franz-Joseph-Kaserne am Stubenring folgten. Die Schlusssteinlegung des Arsenalkomplexes erfolgte am 8. Mai 1856 in einer feierlichen Zeremonie, an der Kaiser Franz Joseph und seine Frau Elisabeth teilnahmen.

Es ging aber nicht nur um Zweckmäßigkeit, sondern auch darum, für die Haupt- und Residenzstadt Wien einen eindrucksvollen Komplex zu errichten. Als zentrales Gebäude wurde in das Arsenal ein Museum integriert, das den Ruhm der kaiserlichen Armee illustrierte, worauf schon die 56 lebensgroßen Marmorfiguren bedeutender Feldherrn in der Eingangshalle verweisen. Mit der architektonischen Gestaltung des Gebäudes wurde Theophil Hansen beauftragt; auf die Gestaltung der Innenräume nahm Franz Joseph selbst Einfluss. Auch die künstlerische Ausgestaltung der Räumlichkeiten unterstreicht das Ansehen der Armee: Die Deckengemälde in der Ruhmeshalle im ersten Obergeschoß zeigen Szenen erfolgreicher historischer Schlachten. In den Ausstellungsräumen wurden unzählige Beutestücke von siegreichen Feldzügen gezeigt. Die Eröffnung des k. u. k. Heeresmuseums erfolgte am 21. Mai 1891 durch Kaiser Franz Joseph.

Im Zweiten Weltkrieg wurden zahlreiche Gebäude des Arsenalkomplexes schwer beschädigt. So auch das Museum, das rasch wiederaufgebaut und 1955 als Heeresgeschichtliches Museum wiedereröffnet wurde. Auch andere Objekte der Anlage wurden im alten Stil wiederaufgebaut und einige Neubauten errichtet. Derzeit gibt es Pläne, in diesem alten Militärkomplex einen Wissenschaftsstandort zu etablieren.