餘家歷世皆傳儒素，尤尚書法。十九代祖東漢左中郎邕，有篆籀八體之法。六世祖陳侍中景歷；五世伯祖隋蜀王府記室君知，鹹能楷隸，俱爲時所重。從叔父右衛率府兵曹參軍有鄰，繼於八體之跡。第四兄緱氏主簿希逸、第七兄