唐朝時世家大族都以五姓七望為首，以這幾個家族為尊，而李世民的家族不在這幾個家族之中，因而李世民的家族是三個李家中地位最低的。
唐朝時的三個李家分為隴西李氏、趙郡李氏以及唐李。唐朝時更關註壹個家族的文化水平，是以這壹標準來評價壹個家族地位的。前兩個李家傳承了多年，積澱了濃厚的文化底蘊，也出了不少當時的大文豪，而唐李也就是從李淵這壹輩才開始發家。
隴西李氏起始於秦國隴西郡郡守，家族歷史悠久，自古就出過不少聞名全國的人才，例如，李信、李廣，都是出自於隴西李氏，為隴西李氏後來的發展奠定了基礎。多年來，隴西李氏壹直忠心於皇帝，勤勉持家，憑借雄厚的經濟力量創辦私塾，培養文學上的人才，為國家培養可塑之才。
趙郡李氏的祖先其實是隴西李氏的壹個旁枝發展起來的，多年的發展使得趙郡李氏也取得了不小的成就，先後出現過43位宰相、兩代皇後、兩百多名進士、上千位官員，成為首屈壹指的名門望族。除此之外，趙郡李氏家族壹直秉持著良好的家風，受世人的愛戴，因此他們在世家大族中占據重要位置也不是沒有道理的。
其實到現在也不能具體準確地說出李世民家族的唐李屬於哪壹個家族，他們的祖先極有可能不是隴西李氏的族人，可能只是壹個破落戶，想借著隴西李氏來提升自己在社會中的地位的。