主要是林家後代不能“辟邪”。林遠圖在武林中名聲大噪後，林家開始做生意。雖然他們很有錢，但他們祖傳的《辟邪劍譜》還是引起了江湖人士的註意。
江湖武林是什麽“地方”？以《吳越劍派》為例。“五嶽劍派”要選舉盟友，各派在嵩山派大張旗鼓地競爭。最後勝出的是“吳越劍派”掌門。壹是華山傳人嶽靈珊，用他在華山洞學到的武功，打敗了泰山、衡山、衡山派的祖師。後來，華山掌門嶽不群用驅邪的本事打敗了嵩山派的師兄左冷禪。被選為武功最高的五嶽劍派掌門。
所以獲得絕世武功更有機會成為無上武功，稱霸武林；因此，與被公認為天下第壹武學的《葵花寶典》齊名的《辟邪劍法》，自然成為江湖上各路高手爭搶的對象。
然而，沒有人敢搶“東方不敗”手中的“葵花寶典”。“東方不敗”是誰？日月神道教的前領袖任我行是壹個聰明的左撇子。任我行在修煉的同時，附身任我行，成為日月神道的教主，還練就了天下第壹武功“葵花寶典”。
同理，絕世武功《獨孤九劍》也僅次於《葵花寶典》。馮清揚和令狐沖都使“九劍獨孤”出神入化，江湖上各路高手都不是他們的對手，自然不敢搶。
林家後人沒學會“辟邪劍法”，可能和“辟邪劍法”是從宮裏揮出來的刀有關。