Như tên gọi của chùa , người xưa lấy một hang đá núi , cao 3,5m rộng 7m chia làm 2 bậc thềm , bậc thềm ngoài rộng khoảng 23m2 , bậc thềm trong cao hơn độ 0,50m lòng hang hình thang , xuyên thẳng sâu vào núi , dài chừng 25 m , phía trong cùng cao 1,2m rộng 1,3 m.
Trước kia chùa có bàn thờ đá , tượng Adiđà , bát hương đều bằng đá. Năm 1930, Tuần phủ tỉnh Bắc Giang Đặng Quốc Giám xin được lô đất gần chùa đã cho phá núi để xây biệt thự và đục mở mang cửa hang nhưng nghe nói “ bị thần núi Cô Tiên quở” nên lại thôi.
Trong chiến tranh, dân tản cư , chùa gần đồn Tây nên cảnh chùa càng vắng tanh. Năm 1967 , tiểu đoàn công binh đã phá rộng lòng hang ở chỗ cánh cửa hang chừng 8 m để cất giấu tài liệu cho tiện lợi khai thác đá ở phái ngoài xây tường gác canh che cửa hang. Vì thế , những bài thơ đề vịnh Chùa Hang khắc trên vách đá , cùng bệ thờ đá đều bị hỏng.
Chùa Hang là chùa thiên tạo lớn trong khu di tích lịch sử Đồ Sơn của đảo Đồ Sơn , theo truyền ngôn có từ trước công nguyên. Sãi chùa Bần – tên dân dã người nước Thiên Trúc theo thuyền đi truyền bá đạo Phật đã đến trú ngụ tại hang và mở chùa. Dân Đồ Sơn vẫn truyền rằng sư Bần còn dựng chùa Bần trên núi Mẫu Sơn , sau người tịch ở chùa Hang.
Nhiều thơ ca về chùa Hang Đồ Sơn hiện còn lưu:
Chùa Hang , động Phật , hang Dơi
Bốn phương tám hướng chẳng nơi nào bằng
***
Chùa hang cảnh Phật nhiệm mầu
Ấy là Bụt mọc hay bầu Tiên xây
Chùa Hang Đồ Sơn cùng với miếu Thị Đa ở Cốc Liễn , Kiến Thụy gần đó thờ Chử Đồng Tử là những chứng tích quí liên hệ đến quá trình đạo Phật du nhập vào nước ta khoảng những năm trước Công Nguyên.
Ngoài chùa Hang ra khu du lịch đảo Đồ Sơn còn có Chùa Thiên Phúc, ngôi nhà của vua Bảo Đại mang tên biệt thự Bảo Đại và nhiều các địa danh di tích hấp dẫn khác đang chờ du khách khám phá.