靖康之变，高宗禅位。靖康二年（1127年），金兵大举南下，北宋灭亡。次年，宋高宗赵构于扬州行宫郊祀，孔子第四十八世嫡长孙、衍圣公孔端友等奉诏陪祀。

　　其间，金兵占山东、下徐州，锋芒直逼扬州，高宗被迫仓皇南奔。同时，金军开始围攻曲阜，孔府、孔庙、孔林及孔氏后裔的安危，亦受到威胁。在族长孔传支持下，孔端友奉孔子夫妇楷木圣像及唐吴道子手绘“先圣遗像”，率近支族人南渡，史称“大宗南渡”。

　　传说，孔传、孔端友在镇江一度被金兵追上，孔端友只能怀揣楷木圣像驾船逃奔，誓与先圣遗像共存亡。此时，刮起狂风。危急时刻，有3位神人托住船只。上岸后，孔端友看见天上有“鲁阜山神”4个字，由此得知这是曲阜的山神前来护卫圣像。尽管这是个美丽的传说，但足以说明孔端友一行背井离乡的苦楚与仓皇南渡的艰辛。

　　令人欣喜的是，尽管历尽磨难，孔子夫妇楷木圣像、吴道子手绘“先圣遗像”都完好地保存到今天——这是南孔自强不息、顽强生存的生动写照，也是中华民族生生不息、中国儒学持续发展的实物见证。