Здание, в котором архив размещается с 1926 г. (Миллионная ул. 36), было построено по проекту архитектора М.Е. Месмахера в 1883-1887 гг. для архива Государственного Совета. Архив был создан в 1724 г. при Государственной Адмиралтейств-коллегии для сбора и хранения документов коллегии, её экспедиций и контор. В 1827 г. при преобразовании Морского министерства был создан Архив Морского министерства, который принял дела Архива Адмиралтейств-коллегии.
В августе 1917 г. переименован в Центральный архив флота и морского ведомства. В 1918 г. Центральный архив флота и морского ведомства вошел в третью секцию (Архив армии и флота) Государственного архивного фонда (ЕГАФ) в качестве второго (военно-морского отделения). С 1922 по 1925 гг. он существовал как часть ленинградского отделения Центрального архива РСФСР, а затем - как ленинградское отделение Центрального исторического архива (1925-1934). В 1934 г. архив был выделен в самостоятельное хранилище и получил название Морской исторический архив. По "Положению о ГАФ СССР" 1941 г. архив получил статус центрального государственного архива и новое название - ЦГАВМФ. С июня 1992 г. название архива - Российский государственный Архив Военно-Морского Флота (РГАВМФ).
