楊還把武則天的妹妹(後來叫韓夫人)叫出來讓袁天罡拍照，袁天罡說:“這女人貴，對丈夫不好！”最後保姆拿出武則天穿著男孩子的衣服。袁天罡見到繈褓中的武則天，大吃壹驚，說她是“鳳頸龍，甚貴考！”但他遺憾地說:“可惜是個男的。如果是女人，那就是世界的主人！”(“如果妳是女人，妳就無法窺探，然後妳就是世界的主宰！歷史進程已經被他預言了。
關於袁天罡與李的關系，傳說有多種版本:袁天罡是李的師傅，兩人都是隋末博學的道士。袁天罡曾在朗州盤龍山前蓋房，李仰慕其名已久，於是帶著金條遠道而來，叩門而拜。另壹個傳說說，袁天罡和李是老同學的朋友，他們經常聚在壹起商量事情，談論事情。並壹起背靠背躺在地板上，壹人寫壹幅畫，為後人留下了壹本神奇的推算天書《推背圖》。但正史並沒有記載兩者的關系，應該沒有什麽特殊關系。
在民間傳說中，關於袁天罡還有更神奇的故事。最流行的傳說是武則天讓李和袁天罡為他勘察並選擇了墓地中的龍洞。先是李跑了9981天，找到了九丈山龍洞的吉祥土，埋下了壹枚銅錢；並讓袁出去找找。花了七七四十九天才找到這個地方，於是他從頭上扯下壹個銀簪，插了進去。武則天請人核實他們選擇的龍穴吉祥土是否相符。結果他們挖出來的時候，袁天罡的銀簪正好插在銅錢的方孔裏。人們認為袁天罡是天罡中的智慧之星。