原名曾公祠，在大明湖东北岸，北临汇波楼，为纪念北宋文学家曾巩而建。曾巩（1019至1083），字子固，北宋嘉?年间进士，江西南丰人，世称“南丰先生”，官至中书舍人。熙宁五年至六年（1072至1073年）任齐州知州。在职期间，倡修水利，剪除豪强，深得民心。能诗善文，为唐宋文学八大家之一，著有《元丰类稿》、《续元丰类稿》、《隆平集》等著作。该祠始建年代无考，清道光九年（1829年）历城知县汤世培重建，仅有大厅三间。解放初期，与西侧供奉水神晏戌子的晏公庙（庙毁仅剩台基，称晏公台）、清光绪十二年（1886年）山东巡抚张公（曜）祠划归一体，改称南丰祠。
今祠为清静幽雅的古典式庭园，总占地面积2535平方米，由大殿、戏厅、水榭、游廊等建筑构成。北边为大殿，南出厦，半壁花扇，抱柱悬楹联:“北宋一灯传作者，南丰两字属先生。”大殿南面西侧戏楼高耸。楼内四周二层，南为戏台，其他隙地为坐席。昔日设茶座，可品茗看戏。与殿堂相对，靠近湖岸有水榭三间，四周环廊，东西北三面环水，内植荷莲，是赏景佳处。殿堂东侧为明末始建的晏公台，上有“明昌钟亭”，1993年建，四面八柱，宝顶双檐。亭中悬挂原在湖南岸钟楼寺的金代明昌年间（1190至1196年）所铸8000公斤古钟。东为小溪，近溪修竹郁森，成篱成林。院内花木扶疏，绿柳翠柏笼荫。
1987年10月，在北厅内设“剑门书画馆”，陈列孙墨佛先生的书法珍品26件，手札12件。孙墨佛，号“眉园”，又称“剑门老人”，原籍山东莱阳，终年104岁。跟随孙中山革命多年，心胸豁达，修身清节，淡于名利。早年从学刘大同的书法，并得到王序、康有为等名家的指导，晚年学唐孙过庭书谱，注豪情于笔端，以书法陶冶情操，形成质朴洗炼的艺术风格。
南丰祠院内南侧濒临湖岸处，有水榭三间，名“雨荷厅”，红柱雕窗，青瓦飞檐，四周环廊，东西北三面环水，内植荷莲。据说，这儿就是电视剧《还珠格格》中所说的乾隆皇帝与民女夏雨荷相见相爱之处。水榭之南的明湖水面，蒲苇莽郁，鱼跃鸟喧，莲叶摇风，红荷送香，景色幽雅宜人。若值细雨斜风，倚栏闲坐，远眺明湖烟雨，静听雨敲碧荷，任思绪如轻风，遥想乾隆皇帝与雨荷姑娘大明湖畔的传奇情缘，那就更添雅兴了。