Музей создавался на основе Кабинета (Музея) изящных искусств и древностей Московского университета как учебно-вспомогательный и публичный, где в гипсовых слепках, макетах, живописных и гальванокопиях по единой научной программе были представлены основные этапы истории искусства классических народов с древних времен до Нового времени. В этом качестве музей становился первым в России учреждением такого типа. Проекты создания подобного музея в Москве неоднократно излагались в печати: кн. З. А. Волконской и С. П. Шевыревым (1831), проф. К. К. Герцем (1858), директором Московского Публичного и Румянцевского музеев Н. В. Исаковым (1864). Инициатором создания (1893) и первым директором Музея (1911–1913) был заслуженный профессор Московского университета, доктор римской словесности и историк искусства И. В. Цветаев (1847–1913). Замысел И. В. Цветаева развивал основные идеи предшественников.

Объявленный в конце 1896 г. конкурс на лучший проект здания музея привлек 19 архитекторов из разных городов России. Правлением Университета был избран в качестве строителя один из участников конкурса, получивший золотую медаль, московский архитектор Р . И.Клейн (1858–1924). Им был выработан окончательный вариант проекта, отвечавший требованиям Правления и Комитета, по устройству музея изящных искусств при Московском университете. Здание строилось по последнему слову музейной практики и строительной техники. Спроектировано оно было по типу античного храма на высоком подиуме с ионической колоннадой по фасаду. Во внутреннем убранстве сочетаются элементы разных исторических эпох сообразно представленным экспонатам. В сооружении участвовали инженеры И. И. Рерберг и В. Г. Шухов.Музей создавался главным образом на денежные средства членов-учредителей Комитета и других жертвователей, число которых первоначально превышало 40 человек.
И. В. Цветаев и Ю. С. Нечаев-Мальцов, 1912 г.
Среди них: А. Е. Арманд, С. И. Мамонтов, А. Д. Мейн, Ф. О. Шехтель, А. А. Щербатов, Д. А. Хомяков, З. Н. и Ф. Ф. Юсуповы. Товарищем председателя Комитета состоял Ю. С. Нечаев-Мальцов (1834–1913), крупный промышленник, владелец стекольных заводов в Гусе-Хрустальном, питомец Московского университета. Им было вложено в строительство и комплектование около 2 млн рублей (две трети всей стоимости музея).

Председателем Комитета являлся великий князь Сергей Александрович (1857–1905), активное участие и заинтересованность которого в деле созидания музея позволили придать этому предприятию необходимую значимость и популярность в среде столичной знати и высшего чиновничества. Здание было возведено к 1904 году. К работе в музее И. В. Цветаевым в разное время привлекались русские ученые: Д. В. Айналов, Н. П. Кондаков, В. К. Мальмберг, Б. А. Тураев, художники В. М. Васнецов, В. Д. Поленов, А. Я. Головин, И. И. Нивинский. Гипсовые слепки и другие копии заказывались в 1890-х – 1911 годах в зарубежных мастерских по формам, снятым непосредственно с оригиналов; в ряде случаев они делались впервые. Украшением музейного собрания явилась уникальная коллекция предметов древнеегипетского искусства и культуры (свыше 6 тыс. памятников). Собранная русским ученым-египтологом В. С. Голенищевым, она была приобретена государством и передана музею в 1909–1911 годах. Имелись в музее и другие подлинники: произведения итальянской живописи и предметы декоративного искусства XIII-XV вв. из собрания М. С. Щекина, нумизматическая коллекция.

Торжественное открытие Музея изящных искусств имени Александра III состоялось 31 мая 1912 года. В апреле 1923 г. Наркомпросом было принято решение об устройстве в Москве Центрального музея старой западной живописи на основе западноевропейского собрания Московского Публичного и Румянцевского музеев с размещением его в здании Музея изящных искусств. Последний был выведен из подчинения Университету и из учебно-вспомогательного университетского превращался в самостоятельный художественный музей. В 1924 году в музей поступили картины из бывших собраний Г. А. Брокара, Д. И. Щукина, из Государственного музейного фонда. Некоторые картины были переданы из музеев Ленинграда. Это позволило научному коллективу музея во главе с его директором проф. Н. И. Романовым создать первую научную экспозицию картинной галереи и 10 ноября 1924 года открыть первые ее залы.