小昭寺的建立與文成公主和松贊幹布的婚姻密切相關。641年，唐文成公主嫁給松贊幹布，離開長安去西藏時，向唐太宗“請將釋迦牟尼像和寶庫成親”，唐太宗答應“做壹個地圖，把釋迦牟尼像放在上面，讓夏露賈喇甲在魯甲舉行”。相傳文成公主進藏時，帶了壹尊十二歲的釋迦牟尼像。當她到達大昭寺所在地時，木車掉進了沙子裏。
通過歷法計算，公主決定把悉達多喬達摩放在這裏進行崇拜，於是她建造了小昭神廟。這座寺廟是在文成公主的主持下修建的，與大昭寺同時開工，同時結束，同時開放。大門朝東，寄托公主對家鄉父母的思念。後來，它被用作小昭寺的基礎設施。這座朝東朝西的寺廟，據說是文成公主為了思鄉而設計的。文成公主從內地招募了精湛的工匠來建造小昭寺，並根據漢族寺廟的模型和西藏的建築特點建造了壹座壯觀的雙層亭子。
後來兩尊佛像互換供奉，有壹段歷史故事:吐蕃時期，贊比松贊幹布統壹西藏後，迎來了唐文成公主和尼泊爾公主，隨後分別建立了大昭寺和大昭寺，供奉尊公主帶入吐蕃的米多傑，即釋迦牟尼8歲。
世贊幹布的孫子曼松贊統治時期(公元650-676年)，文成公主被供奉在大昭寺。說是唐朝要出兵入吐蕃帶走覺阿像，於是652年，大昭寺釋迦牟尼像被移至大昭寺，藏於明鑒門內，並將大門堵死，畫了壹尊妙佛作為偽裝。
公元712年，金城公主(唐中宗的養女，實際上是唐朝宗室王勇的女兒)嫁給吐蕃，這尊佛像被供奉在大昭寺覺康，原本供奉給大昭寺的大米大部分被供奉給了大昭寺。明清兩代的皇帝也非常重視該寺，並請乾隆皇帝賜“真鏡”匾額。