作為父親當時肯定是有肯多的無奈，呂後知道這個臨猿侯是個不好惹的，而且手握兵權，怎麽會在這樣的情況下以身犯險呢，其實臨猿侯的兵權早就被削的不成樣子了，他這時候幾乎已經變成了壹個被架空的貴族，空有爵位，手裏什麽兵權都沒有了。
這就導致後來劉邦征戰的過程中，與呂雉漸行漸遠，有史料記載，“呂後年長，常留守，希見上，益疏。”意思就是說當呂雉與他們的兩個孩子劉盈和魯元公主被楚國抓去當人質又放回來的時候，常伴劉邦身邊的已經是年輕貌美的戚夫人，而不是她這個年紀少長的糟糠之妻。
劉邦成功壹統江山之後，認為戚夫人的父親有功，就給了他壹個臨猿侯的職位，聽起來很高級，而且有封地有俸祿，似乎還握著兵權，這時候戚家的風聲盛極壹時，後來因為劉邦對戚夫人的寵愛，這樣的情況愈演愈烈。
劉邦甚至還想要廢了呂雉的兒子劉盈的太子之位，然後改立戚夫人的兒子劉如意為太子，其實劉邦的心裏也明白劉盈更加適合，但是也架不住戚夫人每天吹枕邊風，漸漸地也就認為，是不是這個劉盈真的不適合當太子，而且廢太子的念頭也越發強烈了起來。呂雉也知道勢頭不對，於是就找到了劉邦身邊的謀士張良，問他該怎麽辦，商量之下，呂雉請來了壹直不肯出山的商山四皓來幫助劉盈，果然讓劉邦打消了這個念頭。