公元184年（中平元年），黃巾起義爆發，劉備在涿縣組織起了壹支義勇軍參與撲滅黃巾軍的戰爭，少年張飛與關羽壹起加入，隨劉備輾轉各地。三人情同兄弟，寢則同床，劉備出席各種宴會時，張飛和關羽終日侍立在劉備身旁。[4]
公元191年（初平二年），劉備投奔公孫瓚，與青州刺史田楷壹起對抗冀州袁紹，累有戰功，被封為平原相，張飛與關羽在劉備手下任別部司馬，分統劉備部曲。[5]
公元194年（興平元年），北海太守孔融被黃巾軍余黨管亥圍困，派太史慈前來請求援助，張飛隨劉備帶兵前往救助。後曹操又因為自己全家被殺發兵攻打徐州，張飛又隨劉備前往徐州救援陶謙，陶謙表劉備為豫州刺史，張飛隨劉備屯兵於小沛，後陶謙病死，劉備受邀以徐州為根據。
公元196年（建安元年），袁術攻打劉備，爭奪徐州。劉備派張飛守下邳，自己則將兵在盱眙、淮陰抵抗袁術，雙方僵持了月余，互有勝負。下邳相曹豹是陶謙的舊部，與張飛不和，曹豹堅守營寨，又派人去找呂布來救。時袁術給呂布寫信，勸其乘機襲下邳，答應事成後，援助呂布糧草。呂布很高興，率軍而至。劉備中郎將許耽開門投降，張飛敗走。呂布俘劉備妻小和諸將家屬。由於形勢所迫，劉備、張飛只好暫時依附呂布，駐軍小沛。呂布還劉備妻小。劉備駐小沛，發展較快，不久便聚眾萬余人，呂布不安，又率來攻，劉備只得攜張飛等投奔曹操，並與曹操聯合。
公元197年（建安二年）六月，張飛從曹操進攻呂布，呂布敗亡後，張飛被任命為中郎將。
公元200年（建安五年），劉備衣帶召事情泄漏，率領關羽、張飛逃走，殺下邳太守車胄，讓關羽據守下邳，自己與張飛屯小沛。曹操派劉岱、王忠前來攻打，被張飛關羽擊退。後曹操親自出馬，劉備戰敗，關羽被擒，劉備與張飛逃奔袁紹。[6]
公元201年（建安六年），張飛與劉備在汝南聯結劉辟、龔都等人擾亂曹操後方，許都以難紛紛響應，曹操派蔡陽前來攻打，但被劉備所殺，後劉備被曹仁擊敗，張飛隨劉備投奔荊州劉表，駐紮新野。