大雁山位于鹤山东部，西江下游西岸，与新会、南海、顺德三地交界，因山形似一只展翅翱翔的大雁俯瞰西江而得名。又因它坐落于珠三角水网地带，尤显突兀高耸，登顶远望，山下江波浩淼，令人豁然开朗。1988年它以雅号“雁落平沙”评为鹤山八景，2002年又以“雁影波光”之美誉入选江门侨乡新八景。此山蜚声遐迩，与它丰富的历史传说有关。

大雁山与吕洞宾结缘。民间传说吕洞宾是八仙之一，唐朝时人，是道教师祖，诗人，也是民间理发业的祖师爷。因他和妻子各居一洞，相对可望，遂改名为吕洞宾。他在大雁山留下了两处踪迹。 

一处是留在山顶上的“神仙脚印”。在大雁山北麓山顶的一块大岩石上，有一个天然形成的大脚印，长35公分，深10公分，与西樵山顶的大脚印相似。大雁山与西樵山隔江相望，是一对“姐妹山”，大雁山的是右脚印，西樵山的是左脚印。相传吕洞宾在九峰山修炼成仙后，某日下山到南国漫游，来到西江边岸的大雁山上空，只感江风拂面，云气荡胸，远眺山下水网纵横，帆影点点，近观山麓峰峦起伏，山林葱郁，奇石竟秀，更有瀑布流泉飞漱其中，叮咚泉响。吕洞宾被山中景色所吸引，便降下云头，右脚落地踏在山上仔细浏览。待他尽兴观赏一番之后，忽然看见前方不远处有一座西樵山，又想走过去领略该山风光，便迈出左脚踏在了西樵山上，于是两山都留下了他的脚印，故称“神仙脚印”。

另一处是留在山下西江的“担担峡”。“担担峡”是土名，指大雁山脚下西江河中的小岛，这个小岛由两座小山构成，县志上称此处为海目山，又称偶山，属于大雁山余脉，看上去正是大雁之嘴伸入西江饮水的地方。传说海目山这个小岛，是因吕洞宾左脚踏到西樵山顶后，右脚抬起时掉下两颗泥沙造成。岛上两个小山两头高中间低，好像货郎挑货的担子一样，人们便称之为“担担峡”。