Das Institut ging 1915, ein Jahr nach Gründung der Universität, aus diversen Einrichtungen wie der Akademie für Sozial- und Handelswissenschaften hervor. Zunächst hatte es seinen Sitz in den Räumen des Städel, mit dessen Bibliothek bis heute eine Kooperation besteht. Als erster Honorarprofessor wurde der damalige Direktor des Städel, Georg Swarzenski, ernannt. Erste Schwerpunkte waren die Lehre in Geschichte der Architektur und Bauplastik sowie die Erforschung der bis dahin noch wenig bekannten Kunst am Mittelrhein in Anlehnung an Goethes kunstkritischen Schriften „Über Kunst und Alterthum in den Rhein- und Mayn-Gegenden“.
Erster Lehrstuhlinhaber am Institut wurde Rudolf Kautzsch, der während seiner dortigen Lehrtätigkeit zur mittelalterlichen Buchkunst und zur Geschichte des spätantiken
Kapitells publizierte. Er machte sich für eine stärkere Anknüpfung der
Kunstforschung an die Methoden der Naturwissenschaften stark.
Nach dem Ersten Weltkrieg wuchs die Zahl der Studierenden auf fast 30 an.
Von Hans Jantzen wurde ein weiteres Hauptthema, die Morphologie des Kapitells in der mittelalterlichen Baugeschichte, am Institut erforscht. Die Grundthese der diaphanen Wandstruktur vervollkommnete er während seiner Zeit in Frankfurt.
Albert Erich Brinckmann wurde 1935 im Rahmen des sog. Ringtauschs
von Berlin an die durch Maßregelungen der Nationalsozialisten von
Schließung bedrohte Universität Frankfurt versetzt. Bis zu seiner
Emeritierung 1946 publizierte er am Institut einige seiner Hauptwerke
zur Barockforschung und grundlegende Werke zur Urbanistik.
Die von ihm stets vertretene humanistische Haltung und die damit
einhergehenden Ablehnung einer Ideologie der „reinen Rasse“ brachten ihm
eine Reihe politischer Gegner ein. Die drohende KZ-Haft konnte er nur
mit großer Mühe abwenden.
Unter Brinckmann wurden schon einige Veranstaltungen in Bockenheim, dem Kerngebiet der Universität, abgehalten. Somit wurde es nötig, vor Ort einen Literaturapparat anzulegen, der ab 1941 den Grundstock für den Aufbau einer Handbibliothek bildete. Schnell wuchs der Bestand auf über 4.000 Titel und eine eigene Diathek an.
Zur Wiedereröffnung der Universität 1946 meldeten sich 59 Studierende für das Studium der Kunstgeschichte an. Unter Herbert von Einem zog das Institut komplett nach Bockenheim um, da im Wiederaufbau des Städel keine Räume mehr für das Institut vorgesehen waren.
Im Jahre 1947 wurde Harald Keller als Leiter des Instituts berufen, der einen engen Anschluss an die Klassische Archäologie durchsetzte. Die von ihm berufenen Hochschullehrer gingen alle aus den beiden kunsthistorischen Forschungseinrichtungen der Max-Planck-Gesellschaft, der Bibliotheca Hertziana in Rom und dem Kunsthistorischen Institut in Florenz hervor. In den 1960er Jahren strebte Keller eine Verfeinerung der Detailanalyse durch die Öffnung zu den Disziplinen der Philosophie und Soziologie an, die auch in Gemeinschaftsveranstaltungen mit Theodor W. Adorno zum Ausdruck kam.

In den 1970er Jahren wurde die Kunstgeschichte unter dem neu geschaffenen Fachbereich 09 – Sprach- und Kulturwissenschaften zusammengefasst, als dessen Dekan Wolfram Prinz amtierte. Mit der Hochschulreform und der damit verbundenen Öffnung der Universität stieg die Anzahl der Studienanfänger stetig an. 1980 zählte das Institut 538 Immatrikulierte, einige Jahre später schon über 1.000.
Mit dem wachsenden Zustrom Studierender wurde die räumliche Situation im Philosophicum in der Gräfstraße untragbar, weshalb das Institut 1991 in angemietete Räume im Hausener Weg im Stadtteil Hausen umziehen musste.