余荫山房的结构布局：全园分东西两庭，有桥廊连接。东庭为方塘水庭，所有建筑和组景都同方塘平行，呈方形构图。西庭为八角形水庭，八角形水厅居于八角形水塘的中央，庭内桥、廊、小路，都采取同八角形周边成平行或垂直的方向。园内两庭并列，纵贯轴线，构成整齐的几何形布局，这在中国古代宅园中比较罕见。 红色椭圆代表以深柳堂为主包围方池的东景区
黄色椭圆代表以玲珑水榭为主的西景区
紫色方框代表进门入院南景区
黄色箭头代表入口
绿色线代表余荫山房以深柳堂,方池,临池别馆为主的主要轴线
蓝色线代表余荫山房以玲珑小榭，画桥，方池，山石为主的次要轴线，两轴线相交于方池正中。 视线分析：岭南园林常以建筑为主要景点，其中深柳堂，玲珑小榭，临别池馆三栋主要建筑分布在园内显著之处，构成三个画面中心。主要建筑均依水而建，因水面坦荡无阻，为取得最佳景效创造了条件，深柳堂与临池别馆，玲珑水榭与画桥，听雨轩与鹰山均隔岸相对，互为资借，相视景观均佳，水面扩大了空间深远感，可望而不可即，视线互相交融，清新悦目，令人流连。
特点一是“缩龙成寸”，园内的建筑布局精巧有致，藏而不露。弹丸之地，把亭、台、楼、阁、堂、轩、桥梁、廊提、石山碧水、浮莲全都包含其中，且回廊、花窗影壁相互借景，游入其中感觉园中有园，景外有景，好一个曲径幽深。 下雨天是赏园最佳时间，那浠浠沥沥的小雨洒在碧绿的睡莲塘中，在深绿的莲叶上滚着，在淡绿的睡莲花瓣上沾着，满园都是淡淡的睡莲香气，几条硕大的红色锦鲤在花间穿行，周围都是如绿云般的竹叶在雨中沙沙地响着。 园景可分为东、西两半部，以游廊式拱桥为界。这座拱桥是桥、廊、亭“三合一”的杰作，表现了设计者的独到构思和造园者的高超技艺，这一美景称为“虹桥印月”。在月朗风清之夜，月影、桥影、人影在荷花池中相映成趣，构成动人心弦的画卷。 余荫山房特点二是“书香文雅”，不离居室，满园的诗联、佳作文采缤纷浓郁，真可谓岭南园林建筑艺术中的精品。