Ngôi đền có lịch sử lâu dài, được xây dựng dưới triều đại vua Lý Thái Tông (1028 - 1054) tại góc phía Tây Nam thành Thăng Long, thuộc địa phận làng Thủ Lệ, nay là công viên Thủ Lệ.
Hầu hết mọi người đều nghe nói và biết đến Vạn Lý Trường Thành nổi tiếng của Trung Quốc, nhưng Ấn Độ cũng sở hữu cho mình một công trình kiến trúc cổ đại tương tự mang tên Kumbhalgar.