О существовании храма на этом месте упоминается уже в 1619 году, в 1685-1689 годы на средства царицы Натальи Кирилловны Нарышкиной, матери Петра I, на его месте был построен каменный Вознесенский храм, где по легенде в 1774 году состоялся тайный брак Г. А. Потёмкина с Екатериной Великой.
По инициативе князя Г.А.Потемкина-Таврического было начато строительство нового храма рядом с Вознесенским, для этого он пожертвовал свой двор, находившийся рядом с церковью. Трапезная современного храма была построена в 1798-1816 годы по проекту М. Ф. Казакова, а в 1827-1840 годы появился главный храм, построенный по проекту архитектора Ф. М. Шестакова и О. И. Бове. В 1831 году старый Вознесенский храм был разобран, при этом была сохранена его колокольня.
История Храма связана с именами многих знаменитых людей: в 1831 году в еще недостроенном храме венчались А.С. Пушкин и Наталья Гончарова, в связи с прекрасной акустикой в 1863 году здесь отпевали актера М.С. Щепкина, в 1928 году - актрису М.Н. Ермолову, а в 1917 году - погибших в боях с революционерами военных.
В 1931 году храм был закрыт, колокольня разрушена, иконостас разобрали и сожгли прямо в храме, росписи работы итальянских художников были закрашены. Сначала здание храма отдали под склад тары, потом его передали Академии наук, а в 1950-е годы его занимала высоковольтная лаборатория Института им. Кржижановского АН СССР.
Службы в храме были возобновлены в 1990 году. 23 сентября 1990 года был совершен первый за годы советской власти Крестный ход из Успенского собора Кремля к храму "Большое Вознесение" во главе со Святейшим патриархом Алексием. В 1999 году храм был освящен.