В 1778-1782 годах по проекту М.Ф. Казакова для З.Г. Чернышёва, занимавшего пост московского генерал-губернатора, был построен дворец. Дворец строился из камня, оставшегося после разборки стен Белого Города, и стал одним из самых красивых и богатых в Москве. По военному артикулу перед домом генерал-губернатора должен был проводиться развод караула. Но место перед домом было занято двором князей Долгоруких и их огородом.
За большие деньги этот участок земли был выкуплен, и вместо огородов была разбита плац-площадка для военных построений. После смерти Чернышёва дворец был выкуплен государством, чтобы превратить в постоянную резиденцию московских генерал-губернаторов.
Здание неоднократно перестраивалось. Крупнейшая реконструкция была произведена М.Ф. Казаковым в 1791 году: здание было преобразовано в трехэтажное, с задней стороны был разбит двор, оформленный боковыми корпусами (они были разобраны в 1929-1930 году).
В октябре 1917 года здесь размещался Военно-революционный комитет и штаб Красной гвардии, позже в здании были размещены Советы рабочих и солдатских депутатов, затем Моссовет, просуществовавший там до 1993 года. В 1932 году Тверская улица была переименована в улицу имени Горького (это был подарок Сталина ко дню рождения писателя). Улица стала парадной, поэтому потребовалось ее расширение. Некоторые здания сносились, некоторые отодвигались. В 1937-1938 годах здание Моссовета также было на несколько метров передвинуто в глубь участка, а в 1946 году надстроено на два этажа по проекту Д.Н. Чечулина, кроме того была произведена полная переделка главного фасада.
В настоящее время в здании исторически располагается городское управление - Мэрия г. Москвы.