鄭玄出生時，鄭氏家族已經敗落，他的祖父鄭明、父親鄭謹，都沒有出仕，只在鄉間務農，家中生活也比較貧寒。鄭玄自幼天資聰穎，又性喜讀書，勤奮好學。他從小學習書數之學，到八九歲時就精通加減乘除的算術，不但壹般的大人比不過他，即便是讀書人，不專門學習書數者也趕不上他。到了十二三歲，他就能誦讀和講述《詩》、《書》、《易》、《禮記》、《春秋》這儒家“五經”了。同時，他還喜歡鉆研天文學，並掌握了 “占候”、“風角”、“隱術”等壹些以氣象、風向的變化而推測吉兇的方術。
鄭玄自少年時就壹心向學，確立了學習經學的誌向，終日沈湎於書卷中，孜孜以求。他不尚虛榮，天性務實，有壹件小事很能說明這個問題。十壹二歲的時候，他曾隨母親到外祖家做客，當時客人很多，在座的十多位客人都衣著華美，打扮得煥然壹新，壹個個言語清爽，誇誇其談，顯得很有地位和派頭。唯獨鄭玄默默地坐在壹旁，似乎身份和才學都趕不上人家。其母見狀，感到面上無光，便暗地督促他出頭露面，顯露點才華，表現點闊綽和神氣。鄭玄卻不以為然，說這些庸俗的場面 “非我所誌，不在所願也”（引文見《太平廣記》卷215引《鄭玄別傳》）。
鄭玄16歲的時候，不但精通儒家經典，詳熟古代典制，而且通曉讖緯方術之學，又能寫得壹手好文章，在當地聲名遠播，被大家稱為神童。
鄭玄對術數之學的研究也很有心得，成名很早。據《鄭玄別傳》記載，鄭玄17歲時，有壹天正在家讀書，忽見刮起了大風，他根據自己掌握的壹些方術來推算，預測到某日、某時、某地將要發生火災。於是，他立即到縣府去報告，讓政府早做準備。到了某日某時，某地果然發生了火災，但由於早有準備，並沒釀成大害。這件事不脛而走，鄭玄又被當地視為“異人”。 鄭玄雖然立誌於潛心鉆研經學，並已具有了壹定的經學造詣，但由於家境貧寒，生活困苦，已沒有條件繼續專門攻讀了，父母兄弟迫於生計問題，也都不允許他再不事產業而長年讀書了。在18歲那年，他不得不出仕，充任鄉嗇夫之職，鄭玄在任上勤勤懇懇，十分認真，撫恤孤苦，甚得鄉裏的好評，不久便晉級而成為鄉佐。
鄭玄不安於鄉吏的工作，不願為吏以謀生，壹心向往研究學術。因此，他在做鄉吏的同時，還利用壹切可以利用的機會刻苦學習，每逢休假日也不回家，而到學校中向先生請教各種學術問題。他的父親對此極為反對，並壹再督責和訓斥他。但父、兄的反對也改變不了他的誌向，他仍堅持不懈地努力學習，到21歲時，已經博覽群書，具有了深厚的經學功底，並精於歷數圖緯之學，兼精算術。
當時的名士杜密任太山太守、北海相，到高密縣巡視時見到鄭玄，認為他是壹個不可多得的人才，就把他升調到郡裏為吏錄，使他得到學習和深造的機會。從此，鄭玄便結束了他的鄉吏生涯。到了北海郡不久，鄭玄又辭去吏職，入太學授業。他的老師第五元先，是當時京兆平陵（今陜西長安）的大姓，曾任兗州刺史，是壹位很有學問的經學博士。鄭玄從師第五元先，先後學了《京氏易》、《公羊春秋》、《三統歷》、《九章算術》等，俱達到了通曉的程度。其中《京氏易》是西漢京房寫的，《公羊春秋》是戰國公羊高傳述、西漢初成書的，這兩部書都是今文經學的重要典籍。《三統歷》是西漢劉歆寫的歷法，《九章算術》則傳說是西周周公著的，這兩部書都屬歷數之學的重要著述。此後10年左右，皆為鄭玄折節求學的時代。
他師事第五元先後，又從東郡張恭祖學習了《周官》、《禮記》、《左氏春秋》、《韓詩》、《古文尚書》等書，其中除《禮記》和《韓詩》外，均為古文經學的重要典籍。鄭玄向第五元先和張恭祖學習了今古文經學兩大學派的重要經籍後，尚不以此為滿足，又從陳球受業，學習了《律令》。在此期間，他還以明經學、表節操為目的，遊學於幽、並、兗、豫各州，遍訪名儒，轉益多師，虛心向他們學習，***同探討學術問題。讀萬卷書，行萬裏路，不辭勞苦，孜孜求道，鄭玄的青年時代，就是這樣匆忙而充實地過去了。到了而立之年後，鄭玄已經成了壹名有著較深造詣的經學家。他的學問在山東（指崤山或華山以東）已經可以說首屈壹指、無出其右者了。 鄭玄雖然已經學富五車，但他自己卻毫不滿足，學無止境，越學反越覺得知識不夠用。當他感到關東（指函谷關以東）學者已經無人再可請教了的時候，便通過友人盧植的關系，離開故國，千裏迢迢西入關中，拜扶風人馬融為師，以求進壹步深造。馬融是當時最著名的經學大師，學問十分淵博。他遍註儒家經典，使古文經學達到了成熟的境地。他的門徒上千，長年追隨在身邊的就有四百余人，其中優秀者亦達50人以上。
其為人比較驕貴和講究，雖然門徒眾多，但他只親自面授少數高材生，其余學生則由這些高材生轉相授業。鄭玄投學門下後，三年不為馬融所看重，甚至壹直沒能見到他的面，只能聽其高足弟子們的講授。但鄭玄並未因此而放松學習，仍舊日夜尋究誦習，毫無怠倦。有壹次，馬融和他的壹些高足弟子在壹起演算渾天問題，遇到了疑難而不能自解。有人說鄭玄精於數學，於是就把他召去相見。鄭玄當場很快就圓滿地解決了問題，使馬融與在場的弟子們都驚服不已，馬融對盧植說：“我和妳都不如他呀！”自此以後，馬融對鄭玄十分看重，鄭玄便把平時學習中發現而未解決的疑難問題壹壹向馬融求教，對於篇籍的奧旨尋微探幽，無不精研，終得百尺竿頭再進壹步。
鄭玄在馬融門下學習了7年，因父母老邁需要歸養，就向馬融告辭回山東故裏。馬融此時已經感到鄭玄是個了不起的人才，甚至會超過自己，他深有感慨地對弟子們說：“鄭生今去，吾道東矣！”意思是說，由他承傳的儒家學術思想，壹定會由於鄭玄的傳播而在關東發揚光大。 從馬融那裏學成回鄉後，鄭玄已經40多歲了，這時他已成為全國著名的精通今古文經學的大師了，於百家之學無所不通。於是遠近有數百上千人投到他的門下，拜他為師，聽他講學。當時他家裏還很貧窮，便“客耕東萊”，壹面種田維持生計，壹面教授門徒。
漢靈帝建寧元年（168年），朝廷下詔各州郡查究黨人，凡“黨人”及其門生、故吏、父子、兄弟現居官位者，壹概免職禁錮，發生第二次黨錮之禍。鄭玄曾為杜密故吏，又曾受杜密的賞識與提攜，所以也被視為黨人，於建寧四年（171年）和同郡人孫嵩等40余人俱被禁錮。
鄭玄被禁錮後，絕了仕進之路，便杜門不出，隱修經業，集中全部精力來進行遍註群經的工作。鄭學的主要成就，都是在這壹時期完成的。漢代經學有今古文之分。秦始皇焚書後，漢代有壹些老儒生憑記憶背誦出來壹些經文，用當時通行的文字（隸書，即今文）記錄並整理出來，叫做“今文經”。
西漢成、哀之世，劉向、劉歆父子校理秘書，發現了壹部用古籀文字書寫的《春秋左氏傳》，再加上由孔壁所得的《儀禮》、《古文尚書》，和當時尚未立於學官的《毛詩》，便成了古文經的主要經典。研習今文經的，叫今文學派，修讀古文經的，叫古文學派。
今古文經不僅經文有所不同，更重要的是其解說和觀點差異甚大。兩派各按自己的觀點註經立說和收徒講學，漸成水火不相容之勢，發展到相互指責、論辯，相攻如仇。後來，古文經也被立於學官，取得了合法的地位，兩派的鬥爭更加經常和激烈了。到東漢時，今古文經並行，古文學派的影響迅速擴大。鄭玄進入經學界，正是處於今古文學派激烈鬥爭的形勢之下。
今古文經學派的相互攻擊，在本質上並沒有什麽進步意義，雖然兩派都各自有壹些長處。經學講究“師法”和“家法”：嚴守經師之說毫不走樣，叫做師法；同壹經師的不同學生又各自為家，故師法之下又講家法，在遵從師法的前提下才能成壹家之言。所以，師法是追溯淵源的，家法是對師說的引伸與發展。如此“疏不破註”，疊床架屋，致使壹經就有數家，壹家又有若幹說，各講各的壹套，謬誤百出，使後學者不知所從。繁瑣、支離、教條，成了經學的突出弊病。鄭玄起初從第五元先學習《京氏易》、《公羊春秋》，是屬於今文經學派的。後來他又跟張恭祖學習《周官》、《左氏春秋》、《古文尚書》，這是屬於古文經學派的。
可見他並不專守壹師之說，尊壹家之言，而是博學多師，兼收並蓄。他在馬融門下受業多年，而馬融乃是古文經學大師，總的看，他是傾向於古文經學壹邊的。但是，鄭玄並不遵守當時經學中師法、家法那壹套，他以自己淵博的學識遍註古文經，註中並不專用古文經學家的釋義，同時也采用了許多個今文經學家的解釋。即以古文為主，兼采今文，擇善而從。
在受禁錮的14年中，鄭玄遍註群經。鄭註出現以後，原來各守門戶的今文經學與古文經學，便逐漸不再為人們所信了。他在當時不僅集古文經學之大成，而且使古文今文融為壹爐，獨創了壹個新的學派——鄭學。
人們轉而崇尚鄭學，使之逐漸成為“天下所宗”的儒學。例如，鄭玄所註的古文經學費氏《易》流行，而今文經的施、孟、梁邱三家《易》便廢止了；鄭註《古文尚書》流傳，而今文經的歐陽、大小夏侯三家《尚書》便散失了；鄭玄箋註了古文經的《毛詩》，而今文經的齊、魯、韓三家的《詩》也就不顯了。鄭學的出現，使經學的發展產生了重要的變化，它使經學進入了壹個“統壹時代”（皮錫瑞語，見《經學歷史》）。
本期還有壹件事值得壹提。
當時有位著名的今文經學大師名叫何休，他用17年的時間寫成了《公羊春秋解詁》壹書，對《公羊》壹書的內容多所發明。從他的《公羊墨守》、《左氏膏肓》、《谷梁廢疾》三文中可見，他認為《春秋》三傳中只有《公羊》義理深遠，像墨子的城防壹樣無懈可擊。而《左氏》與《谷梁》二傳則存在嚴重的缺點，根本不值得研究。
鄭玄乃針對他的觀點，著《發墨守》、《針膏肓》、《起廢疾》以駁斥之。他認為三傳各有其優缺點，《公羊》並非十全十美。何休讀了鄭玄的文章，也帶著嘆服的口氣說：“康成入吾室，操吾矛，以伐我乎！” 意思是說鄭玄能從他的文章中找出矛盾，用他自相矛盾的說法來駁倒他的立論。由於鄭玄對何休的批駁十分有力，使經師和學者們十分驚服。據說當時京師之人稱何休為“學海”，而稱鄭玄為“經神”，鄭的聲望遠超過何。當時求學者不遠千裏投到鄭玄門下者甚眾，他的徒黨通於天下。
鄭玄從45歲被禁錮，到了58歲（公元184年）才蒙赦令，前後長達14年。在此期間，他打破了經學的家法，註釋與著書“幾百余萬言”，創立了鄭學，在中國經學發展史上做出了無與倫比的突出貢獻。 黃巾起義爆發後，朝廷被迫大赦黨人。解除黨禁後，朝廷當政者對鄭玄的大名已早有所聞，於是爭相聘請他入朝擔任要職。但鄭玄求名而不求官，羞與外戚閹寺為伍，絕不願涉足仕途，乃屢拒征辟，壹心壹意從事著書講學的學術工作。 中平二年（185年），執掌朝廷權柄的外戚大將軍何進為了籠絡人心，首先征辟鄭玄入朝為官。州郡官吏脅迫起行，鄭玄不得已，只好入朝去見何進。何進為表示禮賢下士，對鄭玄禮敬有加，設幾、杖之禮以待之。鄭玄為保其名士節操，拒不穿朝眼，只穿普通儒者的便服與何進相見。僅隔了壹夜，未等授予官職就逃走了。
靈帝中平四年（187年），三府（太尉、司空、司徒）曾先後兩次征辟鄭玄，但他都借故婉言謝絕了。第二年，鄭玄與荀爽、申屠蟠、襄楷、韓融、陳紀等14人並被征為博士，他因父喪而未去。後將軍袁隗表舉鄭玄為侍中，他仍以居喪為理由而拒絕出仕。
中平六年（189年），靈帝死，少帝劉辯繼位，不久董卓廢少帝而立獻帝，遷都於長安。這時，公卿們又舉鄭玄任趙王劉乾的國相，但因戰亂道路不通，仍沒有受召。鄭玄屢拒征辟，其間除避亂於徐州外，大抵是在家鄉隱居，聚徒講學，專心經術，著書立說。他的弟子遍於天下，多有人自遠方而投至門下，如趙商、崔琰、公孫方、王基、國淵、郗慮等即為其間著名者。他的學生常常超過千人，為壹時之盛。
獻帝初平二年（191年），黃巾軍攻占青州，鄭玄只得逃到徐州避亂。徐州牧陶謙曾大破黃巾軍，境內比較安定，他聽得鄭玄到來，極為歡迎，以師友之禮相接待。鄭玄把自己安頓在南城之山棲遲巖下的壹所石屋裏，很少出頭露面，仍然夜以繼日，孜孜不倦地研究儒家經典，註釋《孝經》。
鄭玄在徐州住了五六年，當時孔融為北海相，對鄭玄特別尊崇，他壹面為鄭玄修葺故居庭院，壹面再三派人敦請鄭玄回郡。建安元年（196年），鄭玄便從徐州返回高密。據《後漢書》本傳記載，鄭玄在回高密的路上曾遇到大批黃巾軍，但他們卻對鄭玄十分尊重：“見玄皆拜，相約不敢入縣境”。黃巾軍尊重士人，這在歷史上是有記載的，而鄭玄是壹位真正的名士，在顛沛流離中非禮不動，也是他能夠獲得黃巾軍尊重的原因。據《後漢紀·獻紀》，高密壹縣，竟未受黃巾抄掠。
回到高密後，孔融待之甚厚，告訴手下僚屬稱之為鄭君，不得直呼其名。這樣，鄭玄在70歲時算是結束了背井離鄉的流亡生恬，他老當益壯，仍終日精研經典，博稽六藝，並時常睹覽秘書緯術。可就在這壹年，他竟又慘遭人倫大變，經受了老年喪子之痛。他只有壹個兒子，名叫益恩，23歲時被北海相孔融舉為孝廉。
這壹年春夏之間，袁紹之子袁譚率黃巾降兵攻北海，圍孔融於都昌（今山東昌邑），情勢萬分緊急。益恩受父命率家兵前去營救，結果反被圍殺，時年僅27歲。益恩死後，生有遺腹子，鄭玄因其手文與自己相似，取名叫小同。
獻帝建安二年（197年），袁紹為大將軍，兼督冀、青、幽、並四州。壹次他大宴賓客，鄭玄應邀出席，在席上對壹些所謂“豪俊”的提問進行了壹壹的答對，語驚四座，使賓客無不折服。袁紹乃舉鄭玄為茂才，並表請鄭玄為左中郎將，但鄭玄卻毫不為之所動，壹壹予以婉拒。
獻帝建安三年（198年），獻帝征鄭玄為大司農，這是位列九卿的高官，給安車壹乘，所過郡縣長吏送迎。鄭玄在家拜受後，便乘安車至許昌，但馬上又借口有病，請求告老還鄉。他雖然並未到任就職，但已經拜受此命，故世人稱他為鄭司農。 獻帝建安五年（200年），鄭玄已經74歲了，飽經滄桑，身體常覺不適。這年春天，他夢見孔子對他說：“起、起，今年歲在辰，來年歲在巳。”（《後漢書》本傳）這壹年是農歷庚辰年，即龍年，而來年是辛巳年，也就是蛇年，舊說龍、蛇之年對聖賢不利。所以他醒來後很不高興，認為自己當不久於人世了。這壹年，袁紹與曹操的大軍在官渡（今河南中牟縣東）會戰。袁紹為壯聲勢，爭取民心和士望，叫袁譚逼迫鄭玄隨軍，鄭玄無奈，只好抱病而行。走到元城（今河北大名縣境），病勢加重，不能再走了，同年六月病逝於該縣。病重和臨危之時，他還在註釋《周易》。
鄭玄死時正處於大戰亂之際，所以葬禮從簡，但自郡守以下的官員和受業弟子也有壹千多人缞绖（披麻戴孝）送葬。最初葬於劇東（今山東益都境內），後又歸葬於高密縣西北50裏劉宗山下的厲阜。而今此地仍存有唐代墓碑和鄭玄祠廟，距此不遠，則是孔融當年給他立的“鄭公鄉”。
鄭玄的學生們為紀念恩師的教誨，把鄭玄平時和弟子們問答五經的言論編輯為《鄭誌》，***有8篇。