Здание Нового Эрмитажа построено в 1839-1852 гг. для размещения художественных коллекций. Первое в России здание, построенное специально для художественного музея. Автор проекта немецкий арх. Л. Кленце. Строительство велось под наблюдением В. П. Стасова и Н. Е. Ефимова.
Фасады здания выполнены с использованием античных мотивов - в неогреческом стиле. Главный фасад выходит на Миллионную улицу. В центре - массивный портик с десятью гранитными фигурами атлантов. Фигуры выполнены скульптором А. И. Теребеневым по эскизам немецкого скульптора И. Хальбина.
В 1783-1792 гг. вдоль Зимней канавки под прямым углом к Старому Эрмитажу по проекту Дж. Кваренги был возведен корпус Лоджий Рафаэля. Длинная галерея второго этажа - копия галереи в Ватикане, созданной по эскизам Рафаэля. Корпус вошел в состав Нового Эрмитажа. В 1740-х годах на этом участке по Миллионной улице находился дом начальника придворной конторы при императрице Елизавете Петровне Д.А. Шепелева. В 1760-х годах здесь разместили Пажеский корпус, одним из выпускников которого являлся А.Н. Радищев.