Trải qua quá trình phát triển dân cư, hình thành ruộng đồng, thôn xã, Hùng Khê trang được đổi thành Câu Tử. Các cụ già ở địa phương truyền ngôn rằng: Hùng Khê trang được khai phá, lập nên làng xóm ấm cúng, bên dòng suối mát uốn lượn hình chữ ‘Mã’ trên bàn cờ tướng. Vì lẽ đó, địa danh Hùng Khê trang ban đầu đã được chuyển thành Câu Tử. Một câu phong dao lưu truyền tại địa phương còn nhắc:
Câu Tử ngựa non vươn những bước
Hoang vu ngày trước chỉ còn địa danh
Câu Tử đã trở thành đơn vị hành chính cấp xã, trong bản danh sách các tổng, xã, thôn dưới triều Nguyễn (1802-1945). Vì thế, Câu Tử ngoại ngoài tên chữ là Bảo Phúc còn được gọi tắt là chùa Câu Tử, xã Câu Tử, tổng Thái Lai, huyện Thuỷ Đường (dưới triều Nguyễn).
Chùa Câu Tử Ngoại được dựng trên một khu đất cao phía nam của thôn Câu Tử. Chùa quay hướng nam, đối mặt với dòng sông Kinh Thầy quanh năm nước chảy. Sông Kinh Thầy đã góp phần bồi đắp, tạo lập mảnh đất Câu Tử, Hợp Thành ngày nay.
Chùa là một tổng thể kiến trúc nhiều toà ngang dẫy dọc, nhưng được bố cục gọn gàng. Kiến trúc chính hình chữ ‘công’ (I) đơn giản gồm 5 gian tiền đường và 4 gian hậu cung. Bên hồi trái dọc theo kiến trúc là một sân rộng vuông vức. Sau sân là toà thờ Tổ 3 gian, trước sân là điện thờ thánh mẫu Quận Đa phu nhân. Bên kia sân là nhà khách 3 gian. Kiến trúc chính của chùa vẫn giữ được phong cách của nghệ thuật kiến trúc cổ truyền Việt Nam. Phía trước toà tiền đường có vườn chùa, với 5 ngôi tháp mộ, trông như bút tháp Hồ Gươm thu nhỏ. Nổi bật hơn cả là cây tháp đá kề bên đường thần đạo. Tháp này hình vuông, ba tầng nhỏ dần từ dưới lên, được ghép bằng những phiến đá vôi xám, lớn, mài nhẵn. Đỉnh tháp là bầu đá hình nụ sen cách điệu trên một đài sen cong vút, đắp đầu rồng cách điệu hoa lá. Ngăn cách các tầng tháp là những phiến đá phẳng, vuông, nhô ra khỏi thân tháp. Những phiến đá giới hạn chia tầng có tác dụng làm tăng qui mô, dáng bề thế cho ngôi tháp. Mặt ngoài tường tháp điểm xuyết một vài chữ Hán lớn và các gờ chỉ trang trí.
Mái chùa lợp ngói rồng cổ kính, rêu phong. Bờ nóc đắp trang trí, hồi tiền đường xây cuốn hình quai chảo, trông uyển chuyển, tạo nên nét sống động trong không gian cổ tích. Hồi hậu cung xây kiểu bố trụ, giật hai cấp chắc khoẻ. Nhìn chung, kiến trúc chùa Câu Tử Ngoại ít dùng hình thức chạm khắc trang trí. Trang trí nội thất dường như chỉ tập trung ở một vài câu đối hình chữ nhật phẳng, hình lòng máng sơn son thiếp vàng treo trên cột và hai lớp y môn trong toà hậu cung: y môn thứ nhất chạm nổi đôi phượng chầu hổ phù, ngậm chữ ‘thọ’, y môn thứ hai chạm lưỡng long chầu nguyệt và dải mây.
Phật điện của chùa được bày trong toà hậu cung theo kiểu thấp dần từ trên xuống dưới, từ trong ra ngoài. Hàng trên cùng là bộ tam thế, tiếp theo là bộ A di đà tam tôn. Hàng thứ ba là Di đà tiếp dẫn, tiếp theo là hàng cửu long ở giữa, hai bên là quan âm tống tử và bồ tát hiện thân. Hàng cuối cùng của toà tam bảo là Ngọc Hoàng và Nam Tào, Bắc Đẩu. Hai bên gian tả, hữu, gian hoà tiền đường đặt tượng Hộ Pháp. Gian hồi phải đặt bàn thờ Đức Ông ngồi trong khám gỗ. Chính giữa toà nhà tổ đặt hương án thờ 6 pho tượng tổ và những người tu từ, hành pháp ở chùa.
Ngoài việc thờ Phật, chùa Câu Tử Ngoại còn phối thờ Quận Đa phu nhân – vị thành hoàng có công đánh giặc ngoại xâm dưới triều Trần. Chùa Câu Tử Ngoại là chứng tích lịch sử và là niềm tự hào của nhân dân thôn Câu Tử (xã Hợp Thành).
