南花园在大殿右侧穿过西面的“方丈院”。园内有水池，池中立有六角“辟谷亭”，靠北为“五云楼”。大殿左侧向东为“北花园”。园中古树林立、鲜花放香，园内西北有一六角亭，名曰“拜石亭”，取张良拜黄石山为师之意。亭内嵌有明隆庆五年（1571年）作的《怀山歌》石碑一方。这是明代礼部尚书文渊阁大学士赵员吉所立。当年他因不满朝廷争权夺利，辞官返蜀，途经此地，感怀作诗。后来文人志士来此，多有和诗留于后世。花园四周为游廊，廊壁布满彩画和碑石。