Как сообщает краевед Дмитрий Малинин, изначально на этом месте стояла деревянная, а потом и каменная «часовня на Боровской дороге». После пожара 1622 года, истребившего город, в числе спасенных святынь оказался и большой чтимый крест. Горожане решили поставить крест за городом в часовне на большой Московской дороге.
Крестовская церковь по внешнему виду и по внутреннему расположению имела форму равностороннего креста. Снаружи ветви креста оканчивались портиками, с круглыми колоннами, поддерживающими фронтон. С западной стороны церкви двухъярусная столпообразная колокольня, при которой пристроены две каменные палатки.