隱太子李建成因為玄齡、如晦為太宗親近禮遇，很憎惡他們，在高祖面前說他們的壞話，因此玄齡跟如晦壹起被驅斥。隱太子（太子李建成的謚號）將要發動兵變時，太宗令長孫無忌召玄齡和如晦，叫他們穿道士的服裝，暗中帶進內閣商量大事。等到太宗成為太子之後，提升玄齡擔任太子右庶子，賜絹五千匹。貞觀元年，玄齡代蕭瑀為中書令。太宗論功行賞，把玄齡跟長孫無忌、杜如晦、尉遲敬德、侯君集五人作為第壹等，進爵為邢國公，賜實封千三百戶。
貞觀三年，任命他為太子少師，他堅決推辭不接受，代理太子詹事，兼禮部尚書。第二年，代長孫無忌為尚書左蔔射，改封魏國公，監編國史。已擔任總領百司的官職以後，日夜虔誠恭敬，用盡全部的心力，不想讓每壹個人才失去應當處的位置。聽到他人的長處，好像自己擁有壹樣高興。他對行政事務明晰練達，並且用文獻經典來加以整治。他審查修訂法令，意在寬容和平穩。他不以求全來選人，不用自己的長處來要求他人，看他的才能任用，不因他人的地位卑賤而排斥，議論的人都稱贊他是良相。
高宗成為太子之後，加玄齡為太子太傅，仍或主持門下省事務，監管編撰國史像原來那樣。不久因撰寫《高祖太宗實錄》成，賜下璽書表彰，賜物壹千五百段。這壹年，玄齡因繼母去世丁憂服喪離開職位，朝廷特地下詔在昭陵賜給他墓地。不久，他又從回本官職位。太宗親征遼東時，命玄齡在京城留守，親手寫詔書說：“妳擔負蕭何壹樣的重任，我沒有後顧之憂了。”軍隊的兵器、戰士的糧食，都交給他下令處置調發。玄齡多次上書說不可輕敵，尤應當警惕小心。不久跟中書侍郎褚遂良受詔重編《晉書》。
貞觀二十三年，皇上駕臨玉華宮，當時玄齡老病復發，皇上下詔令他睡在總留臺。到他漸漸病重，玄齡追赴玉華宮，坐偏轎入殿，將近到皇帝禦座才下轎。太宗對他流淚，玄齡也感傷悲咽得不能自我控制。下詔派名醫救治。掌管皇帝膳食的官員每天對他供應禦膳。如果他的病略能減退，太宗就高興得露出喜色；如果聽說病情加重，就變得滿面淒愴。後病情加重，就鑿開宮墻開門，多次派宦官問候。皇上又親自光臨，握手敘別，悲不能忍；皇太子也去跟他訣別。不久去世，享年七十。