谈仙石城位于南北湖风景区西部谈仙岭上，海拔96．7米，是海盐、海宁两邑交界处，也是古代海盐县至省城杭州的孔道。
谈仙石城形势险要，左右有两山夹峙，南为南木山，北为北木山，西侧为海宁黄湾诸山，东侧为一长达三华里的山谷，只有一条崎岖小径，可供出入，从南北湖边远远望去，大有“一夫当关，万夫莫开”之势，故谈仙岭又有“江南八达岭”之誉。
谈仙岭的岭名与谭峭有关（古文谈与谭通）。宋《澉水志》载：上有谭仙庙。相传为南唐道家谭峭炼丹得道之处，至今留有仙人脚、石浴缸、炼丹井等遗迹。
谈仙岭是历史上重要关隘，为历代兵家必争之地，
所以留下了许许多多有关抗御的脍灸人口的故事，明代嘉靖年间，海上倭寇不断侵扰打劫老百姓。戚家军埋伏鹰窠顶、谈仙岭一带，与倭寇短兵相接，数千倭寇葬身于此。当地民间至今仍流传着戚家军英勇抗倭的故事。
清朝道光年间，倭寇再次烧杀掳掠。巡抚刘韵珂奉命在谈仙岭的要隘修筑石城，名曰谈仙石城，清末渐废。
1989年海盐县人民政府拨款重修历时四载，形制依旧，计南北长72.4米，东西阔41.3米，高5.7米，城上建楼一座，城内之徐行健将军雕像和点将台，城墙中空可储兵。2000年上半年这座“天下第一小城”经各方面专家的测量、公证评定，确认谈仙石城是目前我国最小的石城，入围上海大世界基尼斯，同年被定为嘉兴市国防教育基地。