城上孔庙，城下的城