Trụ sở ngân hàng này được xây dựng hoàn toàn bằng đá xanh tự nhiên nguyên khối.
Ngân hàng Đông Dương, còn được biết đến với tên gọi là Banque de l'Indochine, được Pháp thành lập vào ngày 21/1/1875 tại thủ đô Paris với mục tiêu ban đầu là phát hành giấy bạc và tiền kim loại cho các thuộc địa Pháp tại châu Á.
Sau khi mở rộng hoạt động sang Việt Nam, Chính quyền Pháp đã xây dựng hai chi nhánh của ngân hàng tại Sài Gòn và Hải Phòng. Chi nhánh Hải Phòng của Ngân hàng Đông Dương được khai trương vào năm 1885, đặt trụ sở tại bờ sông Tam Bạc.
Trụ sở của ngân hàng này được người Pháp xây dựng hoàn toàn từ đá xanh tự nhiên nguyên khối, được khai thác từ núi đá Thủy Nguyên (Hải Phòng) và các mỏ đá Thanh Hóa. Tòa nhà được thiết kế gồm 3 tầng, trong đó có một tầng hầm được sử dụng làm kho, hai tầng trên được dành cho các hoạt động làm việc và giao dịch.
Ngoài 4 cột trụ lớn có đường kính khoảng 0,8m được lắp ghép bằng 5 khối đá xanh nguyên khối tại tiền sảnh, mặt sau cũng có các cột trụ đỡ để tăng độ vững của mái và tường. Phần đầu cột tại nơi tiếp giáp với mái hiên được trang trí hoa văn làm bằng đồng nguyên chất. Phía chân cột cũng được bọc đồng.
Những bộ cửa đại tại tiền sảnh cao khoảng 4m, khung được làm bằng sắt vuông đặc, bên trong là các song chắn cách điệu được đúc bằng đồng.
Điểm làm nên sự khác biệt và độc đáo của công trình là toàn bộ cơ sở móng và tường vây được xây dựng từ hàng chục nghìn viên đá xanh, được đục và cắt gọt thành hình vuông sắc nét, có độ dày từ 0,4 đến 0,45m. Mặt tường bên trong được trát cẩn thận, riêng phía tường ngoài chỉ chít mạch.
Tất cả hoa văn trên cửa sổ đều được ghép bằng đá, không hề có sự can thiệp của sắt thép. Toàn bộ mặt sàn hành lang và khu vực giao dịch tại tầng 2 được lát bằng gạch gốm. Cầu thang lên xuống cũng rất thanh thoát, các bậc lên xuống được ốp đá màu vàng, còn tay vịn bằng đồng ốp trên các song sắt hoa văn.
Tại các phòng làm việc ở tầng 2 và tầng 3, cũng như trong hành lang, chân tường, sàn nhà được ốp và lát bằng gỗ lim từ Thanh Hóa. Hành lang ở tầng 3 có chiều rộng khoảng 2,5m, với nhiều cửa được bố trí ở hai bên.
Các cửa được mở ra ngoài để đón ánh nắng và gió, trong khi cửa mở vào các phòng làm việc giúp tạo ra không gian thông thoáng, mát mẻ vào mùa hè và ấm áp vào mùa đông.
Từ năm 1955, Ngân hàng Đông Dương được Chính phủ Việt Nam sử dụng làm Ngân hàng Nhà nước Việt Nam chi nhánh tại Hải Phòng, có địa chỉ số 4 Nguyễn Tri Phương, quận Hồng Bàng.