濂溪书院位于湖南桂阳（今属汝城）西郊1里处的山坡地上。宋嘉定十五年（1222），知县周思诚以是县为理学大师周敦颐“过化”之地，建书院于桂枝岭，以奉祀并名“濂溪”。置学田40余亩，收租谷180余石，招“三十余生，课试于中”。宋、元之际废。明正德间，邑人御史范辂、巡按毛伯温捐资请知县陈德本重建。嘉靖三十三年（1554）知县余兆先增建讲堂、学舍，并由罗洪先作记，以倡其学。清顺治八年（1651）毁。康熙六年（1667）知县黄应庚重建，以僧守之，遂供佛像。十年（1671），知县盛民誉（一作盛名誉）筑庵于旁，迁去佛像，扩建讲堂、斋舍，可容生徒百余人。吴三桂作乱时，院田为僧众侵占，五十八年（1719）知县董正祥追回。教学“贵博学、审问、慎思、明理”，而“利国爱民之事，更宜留心”。光绪末年，知县董桢祥改为濂溪高小。民国时改为濂溪学校。1950年，汝城县人民政府在“濂溪书院”开办“城西高小”，一直到1968年停办。
“濂溪书院”依山临水，坐北朝南，四合院式仿宋建筑，砖木结构，大部分两层楼房，小青瓦覆顶，清爽幽静。占地面积3564平方米，建筑面积1669平方米，主体建筑东西宽54.82米，南北深41.8米，有大小房屋46间。前排教室马头山墙，飞檐凌空，两层教室，窗明几净，古风袭人；左右两列书斋精巧玲珑，中部各设日、月门相对，有日月辉映的寓意，后面一列教室地势最高，居中一间设为“夫子堂”，曾一度供奉孔子和周敦颐像，光风霁月，千年传承。四合院之中有“八角亭”，攒尖顶，飞檐翘角，下设座位，四周花草吐朱滴翠，杂树摇曳生姿，清风徐来，心绪恬然。四合院之东有4小栋教师住房，清静雅致，远接山光；西北面有芭蕉林一片，林下清泉流注“爱莲池”，花木丰茂，无论风晴雨雪，别有一番胜景。
“濂溪书院”历尽沧桑，虽“九易其址”而幸存于世，人才辈出且声名远播。明代两广总督朱英，江西、福建布政使范辂，清代著名作家郭远以及当代中国人民解放军上将朱良才、李涛，现代诗人朱子奇等名人均曾求学于此，为书院学子中最突出者，曾经毕业于“濂溪书院”而有所建树者更是数不胜数。