清凉山，古名石头山、石首山。
唐以前，长江直逼清凉山西南麓，江水冲击拍打，形成悬崖峭壁，成为阻北敌南渡的天然屏障。吴大帝孙权在此建立石头城，作为江防要塞，故此又有石头城之称。相传诸葛亮称金陵形势为“钟阜龙蟠、石头虎踞”，这只蹲踞江岸的老虎就指清凉山。
前333年，楚威王熊商灭越国，在此埋金以镇“王气”，并筑金陵邑。孙权在此修建石头城，成为江防要塞。五代时，南唐后主李煜在山中兴建避暑行宫，后改清凉寺，辟为清凉道场。 清凉寺，又称石头清凉大道场、清凉陟寺，位于南京城区西部清凉山上，法眼宗祖庭。 解铃还需系铃人的典故出于此地。 扫叶楼在西侧山坡上，是座三开间二层翘角木结构建筑，为龚贤旧居。龚贤（1619～1689年），字半千，明末清初著名画家、诗人，明亡后在清凉山定居。他曾作自画像，手执扫帚作扫落叶状，因之称扫叶楼。