第一山雄踞淮水南岸，原名南山，因盛产都梁香草，故又名都梁，这也成了古县盱眙的别称。北宋哲宗绍圣四年（1097年），书画家米芾赴任涟水知军，由国都汴京（今开封）经汴水南下就任，一路平川。入淮时忽见奇秀的南山，诗兴勃发：“京洛风尘千里还，船头出汴翠屏间。莫论横霍撞星斗，且是东南第一山”，并大书“第一山”三个大字，从此南山易名“第一山”。

明代大文豪吴承恩在《西游记》对第一山的美景有过精彩的描绘：“山顶上有楼观峥嵘，山凹里涧泉浩涌，嵯峨怪石，盘秀乔松。上边有瑞岩观、东岳观、五显祠、龙山寺，钟钧香烟冲 碧汉，又有玻璃泉、五塔峪、八仙台、杏花园，山光树色映城。白云横不渡，幽鸟倦还鸣。说甚泰嵩衡华秀，世间仙境若蓬瀛”。将此胜境与蓬莱仙岛瀛洲仙山相媲美。南宋诗人杨万里说“第一山头第一亭，闻名未到负平生”，不游第一山将抱憾终身。

建国后，第一山成为省级重点文物保护单位，文物古迹已逐步修复，有玻璃泉，杏花园、魁星亭、米芾书第一山碑、明伦堂，值得称道的是第一山题刻，在清代还存172块，经1986年普查，尚存摩崖88块。早自宋元，晚迄明清，书体有正、草、隶、篆，文体有诗、词、题、记，诚是“山腰有石皆诗草”。20世纪80年代，辟为公园。