Местность, где находится церковь, с середины XVII века называлась «Новыми Воротниками», поскольку именно сюда переселили воротников — стражников при городских воротах. На новом месте приблизительно в 1672 году они и создали церковь во имя Троицы Живоначальной с приделом Пимена Великого — в память о храме, что находился на месте их прежнего поселения, близ Тверской улицы. Новое поселение воротников также дало название местному переулку — Нововоротниковский.
В 1691 году деревянная церковь сгорела, после чего началось возведение нового каменного храма, который в те времена стоял на берегу большого пруда. Главный храм 1702 года был построен в стилистике нарышкинского барокко. В 1825 году была возведена ограда, сохранившаяся до нашего времени.
В конце XVIII века был построен придел Владимирской иконы Божией Матери, о создании которого существует предание. Слепой мальчик играл неподалеку от церкви и взял в руку какой-то предмет. В это время пыль и песок попали ему в лицо, он потёр глаза этой рукой и мгновенно прозрел. Он увидел, что предметом в его руке была каменная икона — это оказался образ Владимирской Богоматери. Эта иконка долго хранилась в Пименовском храме.
Расширение храма продолжилось и в XIX веке. В 1870 году был утверждён новый проект архитектора Константина Быковского, который позже являлся главным архитектором Московского Университета. В то время возвели колокольню и полностью перестроили трапезная. Значительные перемены внутри церкви произошли в 1897‑1907 годах — по проекту архитектора Фёдора Шехтеля были созданы двухъярусные мраморные иконостасы, богато украшенные резьбой с христианской символикой.
В советскую эпоху храм не закрывался, именно поэтому убранство и интерьеры остались нетронутыми, но в апреле 1922 года из храма было изъято 12 пудов «церковных ценностей». В 1927-1932 годах регентом хора в Пименовском храме был инок Платон — будущий патриарх Пимен.
С 1936 года Пименовский храм стал главным московским храмом обновленцев во главе с митрополитом Александром Введенским, после смерти которого церковь перешла в ведение Московской патриархии. В декабре 1946 года Патриарх Алексий I совершил в нём Божественную литургию. В то время крыша храма прохудилась, а стены приобрели красноватый оттенок от влаги, смешавшейся с красками. Патриарх Алексий I в слове, которое он произнёс за литургией, указывая на стены храма, сказал: «Люди, которые здесь служили, разучились краснеть. Стены покраснели за них».