Білокам’яні споруди
У XVII столітті на трьохтисячне населення міста припадало близько 20 храмів.
Серед них особливо виділявся Хрісторождественскій собор Каргополя. Початок будівництва було покладено в 1552 році і тривало близько 10-ти років. Судячи з архітектурним рішенням, у його зведенні брали участь новгородські майстри. Білокам’яний собор має 5 голів і спочатку представляв собою прямокутник в два поверхи. Покриття даху було тесовим, благо лісу навколо було в надлишку.
Через 100 років до північної частини храму приєднали приділ святих Пилипа і Алексія. Трохи пізніше з боку південної частини добудували приділ в ім’я Всемилостивого Спаса, а до західної стіни додали галерею і крите крильце. Зважаючи на те, що це був вже XVIII століття, то всі споруди покрили витіюватою різьбленням.
Пожежа і відновлення
У 1765 році сталася пожежа і вигоріла третину Каргополя. Хрісторождественскій собор також постраждав. Його стіни вкрилися тріщинами. Катерина II виділила 10000 рублів на відновлення міста і храму. В цілях зміцнення стін звели контрфорси, проте в ході будівельних робіт (5 років) були пошкоджені або втрачені багато розпису храму.
Більше двох століть (з 1714 по 1920 роки) Хрісторождественскій собор у Каргополі були хранителями чудотворної казанської ікони Богородиці. Сьогодні вона вважається загубленим, однак цілком можливо, що місцем її зберігання є одна з приватних колекцій.
У 1923 році церкву закрили, проводити богослужіння було заборонено.
