望海堂建筑在闾山绝顶，原砌有高约五米的基台，修建两层殿宇，东西配房，即十间藏书库、三间居室、三间读书绘画室和十多间卫士房。四周峰顶都修有瞭望台，起保护望海堂的作用。这里就是耶律倍及爱妃高美人于辽太宗天显二年（927），从东京（今辽阳市）来闾山隐居生活的地方。绝顶峰下，原建有三层殿堂、数十间房屋的一个大院，正殿为绿琉璃瓦歇山式大木架结构，规模宏伟，金碧辉煌，专为藏书之用，冬季耶律倍与高美人移此居住，故后世称此处为“琉璃寺”。这座望海堂，是辽代最大的私人藏书楼，也是我国当时北方少数民族地区藏书最多的地方。其中不少书籍是当时就已罕见的真本和善本图书。连后唐的汉人学者都非常羡慕称赞，闾山成为辽代主要文化中心区。
原望海堂建筑，早在金灭辽时被烧毁，但遗址尚存。从柱石、砖瓦构件考察，当时建筑规模十分巨大，气势宏伟。这在地势十分险要的悬岩高峰顶端进行建筑，在羊肠小路上搬运材料，可见工程之艰巨，用心之良苦，建筑工人之劳累，可谓是辽代建筑史上的一个奇迹。峰下的琉璃寺也早已不存，但遗址尚在。寺前的一口水井，即是当年的食用水井，水质甘冽，天旱少雨时，井水也不干涸。有一大石槽为辽代遗物，专家论证为显陵前的祭器。位于望海堂东北方向不远处的高美人行宫，如今也只剩下遗址。
站在大望海寺遗址上，登峰造极，居高临下，四望群山，千峰万壑，尽在脚下。苍松翠柏犹如草坪，使人眼界顿开。“会当临绝顶，一览众山小”，确有置身于天上之感。每当阴雨天气，白云绕山而行，云雾生于足下，风吹云动波滔万顷，浑如大海；峰峦错落，形如座座海岛，忽隐忽现，扑朔迷离，宛如一幅瑰丽的画卷。冬季群山披上银装，登峰远眺，一片银白世界，诚然是“银装素裹分外妖娆”。欣赏这北国风光，更有一番情趣。
古人有咏望海堂诗：“黄云白日两茫茫，耶律移书此秘藏；安得读残十万卷，卧看东海自沧桑”。清人杨圻也有诗曰：“北镇巫闾第一峰，但余樵牧说辽宫；当年耶律耽文史，不让昭明万卷风。”还有歌颂耶律倍“让国”的诗：“武略文谋两擅长，储君何必握朝纲；一军扫荡扶余境，万卷珍藏望海堂。让国竟追吴太伯，浮家犹载越夹光；任教介弟承洪祚，孝友孤哀久自彰。”