據《三國史記》記載：“伽倻國嘉實王制十二弦琴。以象十二月之律。乃命於勒制其曲。” “伽倻琴亦法中國樂部箏而為之。......伽倻琴，雖與箏制度小異，而大概似之。”
伽倻國的樂士於勒攜琴帶著弟子尼文，到了新羅，受到了真興王的歡迎和禮遇。真興王把於勒安置在國原，乃派遣大奈麻註知、階古、大舍萬德等受業於勒門下，以傳其業。
伽倻琴到新羅以後得到發展，成為新羅大樂，為以後的宮廷樂奠定了鞏固地位。到了八世紀左右（或更早些時間），伽倻琴從新羅國傳到日本，日本奈良的正倉院至今還收藏著三臺伽倻琴（即新羅琴）。因為，伽倻琴是從新羅傳到日本，同時又用於新羅樂，因此，日本把伽倻琴稱之為新羅琴。
到十九世紀末，伽倻琴音樂出現了高峰，這是伽倻琴藝術的轉折時期。音樂從緩慢的宮廷樂，逐漸轉變為輕快而活潑的散調，原來流傳的伽倻琴，因不適合演奏散調的快音而改制成散調伽倻琴，流傳至今。
二十世紀五十年代以來，延邊地區的伽倻琴音樂，有更新的發展，從民間流傳，發展為專業人材的培養。