據史書記載，張裕在判斷人的面相和衡量吉兇方面有很高的天賦。同時他還精通圖像學，甚至有人認為他在圖像學方面的造詣比當時這方面的大師周群差很多。張裕和劉備第壹次見面是在建安十六年，當時張裕還在劉璋手下工作。這壹年，劉璋邀請劉備去蜀國對付張魯。張裕和劉璋壹起接待了劉備，但在這期間，他們的交流並不十分友好。因為張裕胡子很多，被劉備嘲笑，但他壹點也不示弱。反而嘲笑劉備沒有胡子根本不像個男人，讓劉備很尷尬。
劉璋投降劉備後，他的幕僚也被分配到劉備的手下。後來劉備決定和曹魏爭奪漢中之前，問過周群和張裕，兩人都建議不要參加。最終劉備出兵漢中。雖然成功拿下，但沒有得到漢中人的支持，損失了兩位將軍。
但奇怪的是，他回來後，劉備養了周群，卻沒有養張裕。後來張裕聲稱，九年後劉備將失去益州，天下易主。劉備聽說後，大怒之下把張羽抓起來，下令處死。雖然諸葛亮為他求情，但張羽最終還是被劉備處死。