游子山，高淳的象征。相传孔子周游列国时，曾登上此山，山名由此而得。
春秋末期，各国诸侯不把周天子当回事，你争我斗，闹得天下大乱。有位圣人坐不住了，他就是我国古代最伟大的思想家孔子。于是，他辞去鲁国管司法的长官和代理丞相职务，带着一批弟子，周游列国，四处宣传他那一整套恢复周朝礼制的政治主张。可是，当时大国都忙着争霸，小国面临着被吞并的危险，整个社会正发生重大变革，他的主张当然难以被人接受。孔子先后到过卫国、曹国、宋国、郑国、陈国、蔡国
等。公元前489年，他来到楚国。
当时，吴楚争霸已经结束。由于吴王阖闾早几年前南征越国时，中了越人的箭而身亡，从此吴国把全部怨恨都转移到越国方面，开始了长达22年的吴越之争。楚国认为这是它重振霸业的大好时机，就一边坐山观虎斗，一边乘机向东扩展势力。由此，高淳再度成为吴楚交界之地。
孔子到了楚国，楚昭王起先打算把有户籍登记的700里疆土封给他。当发现孔子的主张与自己完全不同时，随即改变了主意。孔子对此也不在意。他要继续东游，一直到吴楚交界之地，亲眼去看看那些“乱臣贼子”为了一己私利，你争我斗所造下的罪孽。
孔子带着他的弟子，在楚昭王的帮助下，过了大江，沿着伍子胥当年出昭关时的小丹阳古道。由西往东，来到高淳境内。
当时，高淳一带并非偏僻之地。吴楚争霸时，为了军事需要，开通了小丹阳和朱方古道。以被伍子胥烧毁的军事重镇古固城为起点，西北向可到现今江宁县的小丹阳；东北向可达今镇江、丹徒之南的朱方。且0可联成一线，供战车驰骋。此外，水路有中江横穿全境。
由于连年战乱，高淳一带地矿人稀，白骨儡然，满目疮痍。孔子看到肥沃的土地无人耕种，富饶的水面无人渔业，不由得一路感叹。在经过大片水区和平原后，他发现前边有座山，就带着弟子一起上去探察。
这座山就是当今的游山，那时称梁山，又名绵山。孔子从南坡登上山顶。发现此山虽然比不上他老家的泰山雄伟壮丽、气象万千，却也显得玲珑清秀。树木青翠，鸟鸣悦耳，蓝天白云，令人心旷神怡。孔子的目光转至山下，看看这块既肥美又荒芜的水乡之地，一股茫然、凄凉的感觉涌上心头。楚国有个装疯的人叫接舆，他曾唱歌对孔子说－－
凤凰啊凤凰，
你的礼教为何不受人重视！
过去的已不能挽回，
未来的还可以追求。
算了吧算了，
如今崇尚礼教的从政者已没有了！
孔子突然觉得自己老了，不中用了。他无法制止权贵们争权夺利、荒淫奢侈的行为，就产生了游子思归的念头。
就在楚昭王逝世的这年秋天，孔子开始辗转返回鲁国。
后来，孔子着手编写《春秋》。在《春秋》一书中，孔子不承认高淳东边的吴国和西边的楚国为诸侯，而贬称他们为子爵。司马迁在《史记》中解释说：孔子这样做是为了使天下的乱臣0贼都感到恐惧。由于孔子之游，后人将梁山改名为游子山，它含有游子思归的意味。直到今天，人们对那些乡土意识较浓的高淳人，仍形容为“看不见游山就要哭”。