玄武門之變和內禪
與唐高祖逐鹿的群雄紛紛敗于戰陣，朝廷上也已形成一種相對穩定和寧靜的氣氛，這時以太子建成及支持他的幼弟李元吉為一方，以建成之弟李世民為另一方的早在戰爭時期即已潛滋暗長的仇恨終于表面化了，并且發展為你死我活的權力斗爭。
建成和元吉兩個人在正史上都被說得無甚是處。根據這些史書的記載，元吉酷嗜射獵，在戰陣上反復無常，又是個好色之徒和一個虐待狂；太子建成則冥頑不靈，桀驁難馴，沉湎酒色。這些貶詞至少是傳統史料中這一時期的記載對他們故意歪曲的部分結果。例如，宋代大歷史學家司馬光（1019—1086年）就深知當時的實錄對建成和元吉有偏頗不實之語。到了621年，李世民由于戰勝了竇建德和王世充而聲譽驟隆，太子建成則因大部分時間在北方邊疆防御突厥人，未能樹立同樣的聲望。也就在這一年，唐高祖把李世民的地位提高到全國其余一切貴族之上，命他掌握東部平原文、武兩方面的大權，并且命他開府洛陽。李世民立即組成一個聽命于他的約有文武官員50人的強大的隨從人員集團，其中許多人來自東北部平原原來已被他消滅的敵人營壘；他開始向太子建成的高于他人的地位挑戰了。
李世民很可能也從其他方面威脅建成。621年他設立了自己的文學館，其中有18位學士當他的國事顧問。文學館的創辦很可能提醒太子建成，世民有繼登大寶的野心。
從這時起，建成想方設法挖李世民的墻腳，把后者班子中的幾個人調往別的崗位上去。
最初，太子建成的策略進行得很得手。可是624年陰歷六月，原任太子東宮侍衛的慶州總管楊文干謀反。據說，有人曾勸楊文干應為太子建成起兵并擁立太子為帝；是時太子正留守京城，唐高祖則住在離宮。陰謀被揭露，太子建成和楊文干分別從長安和戍地被召赴行宮。當高祖的使者到達時，太子建成拒絕了一位部屬勸他奪取帝位的進言，反而前往行宮請求皇帝寬恕。可是，楊文干卻舉兵反叛。按照史書上的某些記載，唐高祖答允立李世民為太子，并派李世民和另外幾位將領率兵去討伐楊文干；官軍一到，楊文干即為其部下所殺。
與此同時，太子的支持者李元吉、后宮的妃嬪們和宰相封德彝（封倫）等人成功地掩飾了整個事情的真相；而且盡管太子的幾名顧問和李世民的至少一位隨從都被放逐，李建成仍被遣回長安當太子。有些歷史學家很懷疑李建成是否真正與聞這次事件，而且至少有一位現代學者相信，指控李建成的罪名是李世民及其同黨羅織起來的。唐高祖曾想法緩和諸子之間日益緊張的關系。他試圖讓李建成和李世民脫離直接接觸，并且曾作過某些微弱而不成功的努力以彌補他們之間的裂痕。但是，他陷入了宮廷內和朝堂上精心策劃的爾虞我詐的交叉火網之中而不能自拔，每一方都設法詆毀對方，而唐高祖本人對李建成和李世民的態度又極端搖擺不定，對他們的態度看來取決于他們各自成功地利用他的程度。同時，局勢也急轉直下，直到最后以兵戎相見。
到了626年，李世民對李建成和李元吉耍弄花招所取得的成就越來越驚恐不安，因為后二人意在使皇帝反對他，并且想挖空他的一幫人馬。楊文干事件后不久，唐高祖得知李世民的覬覦之心日漸增強，他便召李世民進宮并明白地告訴他，他不可能從高祖本人那里得到什么幫助。一個時期以來，李世民的最有影響的官員們曾敦促他對他的兩個兄弟采取強硬的立場。但是，他在制定進攻性策略時行動是緩慢的。可是，他謙恭下士，慷慨大方地籠絡了洛陽地區的地方軍事精英人物（豪杰），而且用自己的一干人馬警衛著這個城市。可能他是在想，如果一旦被迫逃出京城的話，他可利用洛陽做避風港，或者用它作為反對建成和元吉的基地。
最后，刺激李世民采取行動來反對他的兄弟們的事件終于出現：據他的探子報告，他們計劃在李世民送元吉出征突厥人之際將他殺害。這時，他秘密地把扮成道士的房玄齡和杜如晦召進他的營地以協助他制定計劃，同時，他又賄買玄武門禁軍將領常何，使之聽命于己。玄武門位于長安北面城垣之中心，是出入禁城的要道。由于它地處沖要，所以禁軍都駐扎在它的左近，以負責防止任何敢于政變的嘗試。陰歷六月初三，李世民謊奏說建成和元吉淫亂后宮。唐高祖即對此事進行按驗。次日一早，高祖的一個妃嬪把李世民對他們的控告通知建成和元吉，他們便決定不去朝廷而徑自去見皇帝求情，因此打馬直奔皇宮，想為自己辯護。
可是正在這時，李世民領著12名在玄武門之變的前不久，唐高祖表現了頗不利于李世民的態度：他曾允許把李世民的幾個要員調走，同時他也默默地看著建成在京城發展部隊，使它的人數明顯地多于李世民的部隊。
玄武門事變之后僅僅三天李世民便被立為皇太子，從他父親手里接過政府的實際控制權。陰歷八月初九，唐高祖可能是由于被脅迫而放棄了皇位，李世民便做了唐王朝的第二位皇帝（后來在中國歷史上被謚為太宗）。與此同時，唐高祖被尊為太上皇。
唐高祖遜位之后，無論在事實上或名義上都變成了退隱皇帝，只偶爾出席宮廷禮儀。關于626年以后的年代他們父子之間的關系到底如何，我們知道的很少，但是，當時事變所引起的創傷似未治愈。632年，監察御史馬周上疏訴陳：年邁的高祖住在宮城西部狹窄的大安宮內；雖然它去太宗之宮咫尺，但太宗已經好久沒有去省視他了。馬周還進一步指責說，當太宗要去夏宮避暑時，高祖卻被留在長安受熱天的煎熬。
可以毫不夸張地說，唐高祖是中國一切史書中最受貶低的一位君主。他的聲譽之所以蒙受損失，第一是因為事實上他的統治時期很短，而且是夾在中國歷史上兩個最突出的人物的統治期的中間：他前面的統治者是大壞蛋隋煬帝，他后面的則是被后世史家視為政治完人的唐太宗。第二，已如上述，是因為他建立唐王朝的功績被他的接班人精心地掩蓋了。實際上，唐高祖舉兵反隋時盡管已年過50，上了年紀，他仍然不失為一個有雄心壯志而又生氣勃勃的和干練的領袖人物。有充分材料可以證明，他具有不凡的抱負，而且毫無疑問，恰恰是他策劃了太原起事，并勝利地引導唐軍進抵隋都。他對李密和東突厥人的外交攻勢使得唐軍能奪取大興城，并且使得唐軍能組織和加強在陜西的力量而無虞敵軍的阻礙。后來，他的大赦、封官許愿和大加賞賜的政策，再加上李世民在戰場上的勝利，有助于使新王朝取得很多必要的支援，并且促成了全國的重新統一。也正是唐高祖其人建立了初唐的制度和政治格局。武德之治，從任何現實標準來衡量，都算得上取得了突出的成就；從其結果來看，唐王朝已經打下了堅實的行政、經濟和軍事基礎。總而言之，唐高祖為他兒子的輝煌統治奠定了必不可少的基礎。