В 1170 году коалиция Андрея Боголюбского осаждала Новгород. Согласно фольклору, в ответ на это новгородский архиепископ поставил на стену икону Богоматери. Считается, что именно благодаря этому новогородцы отбили атаку. С тех пор жители города отмечают праздник Знамения Пресвятой Богородицы.

Храм был построен в Москве на пересечении улицы Знаменка и Большого Знаменского переулка, которые и получили своё название именно по этой церкви. Точное время постройки церкви неизвестно. На одном из колоколов храма была надпись, датировавшаяся 1600 годом, а в 1657 году церковь отмечалась в документах, как каменная. Первая колокольня была построена в 1667 году.

В XVIII веке церковь полностью перестраивалась. Так появился храм-четверик XVII века с одной главой, колокольней XVIII века, выдержанной в стиле классицизм, и трапезной с приделом Николая Чудотворца.

В 1929 году храм был закрыт и двумя годами позже — разрушен. Сегодня на его месте находится парковка для автомобилей Министерства обороны.