Первое упоминание церкви в честь Иоанна Крестителя относят к 1620 году. До конца XV века улица Малая Лубянка начиналась от Лубянской площади, а ныне несуществующий участок между площадью и современным Фуркасовским переулком назывался Предтеченским переулком — по имени церкви Иоанна Предтечи.
Храм неоднократно перестраивался. Последняя по времени одноглавая каменная церковь возведена в 1643 году, а спустя 100 лет, в 1740-х годах, была построена колокольня. Левый придел был освящен в честь Иоанна Богослова, правый — в честь Николая Чудотворца.
Церковь Усекновения Главы Иоанна Предтечи закрыли в 1929 году, а в 1931 году снесли. На её месте по проекту архитектора Алексея Щусева в 1944-1945 годах построили новое здание НКВД.