Деревянный храм был построен в конце XV века. Затем, в середине XVI века, построили уже каменную церковь. История же возведения в храма Гребневской иконы Божией Матери имеет несколько версий.

Версия первая: в 1471 году великий князь Иван III, правнук Дмитрия Донского, отправился в военный поход на Великий Новгород. Поводом для выступления войск послужили слухи о том, что часть новгородского боярства решила заключить союз с Литвой и создать независимую от Москвы церковь. Иван III «впал во гнев» на отступников и в поход взял с собой Гребневскую икону. После победы Гребневскую икону украсили серебром и драгоценными камнями, а потом с крестным ходом перенесли в Москву в новую церковь.

Версия вторая: в честь новгородского похода Ивана III была поставлена церковь во имя Святого Архидиакона Евпла (не сохранилась), а храм специально под Гребневскую икону возвел уже в камне сын Ивана III —Василий III. В этом случае датой постройки считаются 1514–1520 годы, а архитектором называют Алевиза Фрязина Нового.

Версия третья: в 1570 году Иван Грозный, внук Ивана III, вернувшийся из похода на Великий Новгород, приказал на месте старинного деревянного храма XV века возвести каменный и перенести в него Гребневскую икону. Также известно, что царь подарил храму редкой красоты резную надпрестольную сень.

Первое сохранившееся упоминание о новом приделе во имя Дмитрия Солунского относится к 1585 году, уже после смерти Ивана Грозного. Однако исследователи полагают, что построен он был раньше, в честь рождения в 1582 году царевича Дмитрия (младшего). По крайней мере на древность венчавшей придел шатровой колокольни указывал стиль её оформления. Крест на колокольне, по преданию, был той формы, что упразднили на Стоглавом соборе 1551 года в начале правления Ивана Грозного.

В петровскую эпоху делом обновления храма занималась Наталья Алексеевна, сестра Петра I. В 1711 году царевна распорядилась на время ремонта церкви перенести древнюю Гребневскую икону к себе в Преображенское. После ремонта и освящения нового придела во имя преподобного Сергия Радонежского царевна лично сопроводила заново украшенную и отреставрированную икону обратно в храм.

При императрице Елизавете Петровне на колокольне появятся два колокола, вес одного из которых составит 138 пудов. В октябре 1612 года войско князя Трубецкого подступило от этого храма к Никольским воротам Китай-города, участвуя в осаде поляков в Кремле силами русского ополчения. А при пожаре Москвы в 1812 году храм остался невредимым.

Советское время храм не пережил. В декабре 1926 года Моссовет распорядился его снести, чтобы расширить уличное движение. Прихожане составили ходатайство, указывая на историческую ценность этого памятника зодчества XV—XVI веков. Под ходатайством стояло более 600 подписей, но это храм не спасло. 7 марта 1927 года ВЦИК вынес решение о сносе пристроек к храму и его ограды. В конце июня 1927 года начался разбор колокольни и трапезной с Сергиевским приделом. Саму церковь ещё можно было спасти, но в 1933 году её передали под нужды Метростроя, так как в том месте прокладывалась первая линия московского метро.

1 мая 1935 года храм был окончательно разрушен. На образовавшемся пустыре водрузили будку-шахту для вентиляции метро. И только в 1980-х годах на том месте построили здание для Вычислительного центра КГБ, рядом с книжным магазином «Библио-Глобус». Судьба знаменитой древней Гребневской иконы неизвестна. Надпрестольную сень, подарок Ивана Грозного, передали в музей Коломенского, иконы школы Андрея Рублева — в Третьяковскую галерею.