張全義，身十分貧苦，祖輩是老實憨厚的農民。張全義長後，為了生存，便當縣衙裡當了僕役，曾次遭縣令的欺壓污辱。因此，當王仙芝的義軍達張全義的老濮州一帶時，他就積極參加了王仙芝的軍隊，王仙芝失敗後，他又加入黃巢的義軍，在軍中，張全義戰英勇，又精明幹，迅速提升，在黃巢義軍攻占長安後，他被任命為齊農民政權的吏部尚書兼水運使。在當時，吏部尚書主管政府的官吏考核與任免，權力，職位十分重；水運使更是擔負著為長安百萬義軍從水陸籌集糧食的重任。從這兩個職務，張全義在黃巢義軍中所占的重位置。
不久，黃巢義軍在唐朝軍隊唐朝借助的外族軍隊的聯合鎮壓失敗，張全義像許農民義軍將領一樣，投降了唐朝。當時，張全義見河陽節度使諸葛爽較有勢力，便投靠了他，諸葛爽屢次派他剿殺義軍殘部襲擊其它軍閥，張全義很賣力，立了許戰功。在諸葛爽的推薦保舉，張全義被任命為澤州刺史。不久，諸葛爽病死，其部李罕與劉經相互仇殺，希望占領洛陽。當時，張全義是劉經的部，劉經認為張全義既靠，又有戰經驗，就派他抵抗凶悍的李罕。張全義帶著劉經給他的兵馬來前線，發現李罕的勢力很，且戰鬥力很強，不僅己，就是劉經親來無法抵敵。在分析具體情況後，張全義就投靠了李罕，反過來與劉經為敵，劉經見張全義背叛了己，向諸葛爽的兒子諸葛仲求援。
在諸葛仲的支持，劉經打敗了李罕。李罕見劉經求救於人，不甘示弱，就向鎮壓農民義軍的軍閥李克求救。李克的幫助後，李又反敗為勝，占領了許方。這樣，張全義又被李罕推薦為河南尹。
這河南尹的官職比澤州刺史的官職了些，但卻很不當，李罕是個懂殺人剽掠，征戰殺伐的軍閥，根本就不懂安頓流民，組織生產，總是接二連三向張全義催逼軍需物品。當時民生凋敝，餓莩遍，軍糧極難籌集，儘管張全義盡力供應，還是無法滿足李罕的求，加李罕格暴躁，稍不意，就對送糧官員張撻伐，弄無人敢送糧。在這種情況，許部勸張全義脫離李罕或是乾脆反叛，張全義總是言勸慰，不露聲色。
張全義己深深知，長此往，己必會與李罕鬧翻，必須及早打算，於是他一面表面順從李罕，在軍需方面盡量滿足他的求，使李罕不疑；另一方面，他積極準備，窺伺時機。唐信宗文德元年（八八八年），李罕再戰端，率兵攻打晉、澤二州，張全義見時機來臨，就帶領本部兵馬不費吹灰力占領了李罕的河陽，封為河陽節度使。李罕聞訊怒，立刻向李克求援，李克馬派兵幫助李罕收復河陽。在未占領河陽前，張全義就已做了準備，同軍閥朱溫聯繫，求他幫助，朱溫正擴展勢力，便欣接納，派兵幫他守住河陽。當李克的軍隊來時，朱溫的援軍已嚴陣待，李克的軍隊撤走。朱溫幫了張全義的忙，從此，張全義就投在了朱溫的門，朱溫對這個投靠過來的張全義並不放，不敢給他兵權，深怕他在什麼時候反過來咬己一口。於是給了他一個沒有實際兵權的檢校司空的軍銜，並仍讓他河南尹，河南一帶組織生產。
在張全義任河南尹的時候，朱溫的勢力越來越，最後終於發展代唐立，朱溫武力唐昭宗挾持洛陽，做充分的準備，廢掉唐朝，建立朱氏後梁政權。但洛陽區是張全義的勢力範圍，他在這一帶的威信較高，朱溫生怕張全義反對他篡唐立，就先撤掉了他的河南尹的職務，他封為東平王：給他換了一個中書令的虛銜。
張全義已是官場老手，他深深知，朱溫仍不相信他。這時候唯一的辦法，是在朱溫立為皇帝的時候替他力，這樣才表示己的忠，取朱溫的信任。於是，張全義替朱溫謀劃策，河南一帶的財力集中給了朱溫，讓他由調度使。這麼一來，朱溫真相信張全義了，再加張全義一再表辭謝，說己不配封王，無力擔任中書令職務，弄朱溫有些感動。朱溫當了皇帝後，對張全義加官進爵，封他為魏王，讓他重任河南尹。
五代時期的確是中國歷史最無恥的時期，不僅了像石敬瑭這樣的「兒皇帝」，皇帝的生活極其無恥，朱溫就是其一。這位後梁皇帝，了誰，見誰的妻女有些姿色，就硬讓人陪宿，居還不為恥。春秋時期已經夠亂的了，齊莊公與臣崔抒的老婆相，還被崔抒領兵殺死，時人為罪有應，朱溫公在臣子裡讓人的妻女陪睡，竟像沒一般。為臣，張全義碰了。這位叱吒風雲的將領是什麼態度呢？
一次，朱溫了張全義裡，一住就是數，朱溫竟張全義的妻子、女兒、兒媳輪流陪睡覺，張全義的兒子憤恨不過，磨刀霍霍發誓殺死朱溫。張全義不同意，他極力勸阻兒子，並說：「朱溫曾救過我的命，他怎樣就讓他怎樣吧！」其實，張全義恐怕不是為了報恩，圖報恩，別的方式，何必此呢？其目的還是保住官位。人委曲求全至此，謂有涵養了！
在朱溫晚年，最的對手就是李克了，這兩派軍閥間征戰不休，因此，朱溫對手握兵權者很不放，對一批曾與李克有過關係的人不放，張全義就是他殺掉的目標一。張全義採取的救措施還是獻忠，洛陽的財力及己的財全拿來，支持朱溫對李克的戰爭，這才使朱溫稍稍氣平。後來，張全義又派己的妻子宮中為己說情，這才打動了朱溫，朱溫讓己的兒子娶了張全義的女兒做媳婦，表示對他的信任感。
經過反覆的戰爭，李克的兒子李存勛終於打敗了後梁，於九二三年建立了後唐政權。李存勖早就知張全義年替朱溫操辦軍需品，十分惱恨，他全殺掉。張全義知己的處境非常危險，早就做了準備。張全義準備了千匹馬，送給李存勛的劉皇，請幫忙說話，己又表請罪，乞求哀憐，並表示願替他治理洛陽，李存勖覺他還有，就赦免了他。後來，張全義又不失時機表示己的忠，李存勖的許活動的必需品由他圓滿置辦來，弄李存勛十分高興。他這種善於體貼巴結的做法竟打動了劉皇，拜他為義父。就這樣，李存勖仍讓張全義做了河南尹，還任他為中書令，封為齊王，又做了李存勖的岳父，張全義又在新朝站穩了腳根。
後唐莊宗李存勖荒無恥，且不善治國，知重武夫名門士族身的人，不知重文人有才的庶族身的人，因很快衰敗。在李存勖的晚年，他的養子李嗣源的勢力逐漸變很，有取代李存勖勢。恰在這時，趙在禮於魏州發動叛亂，張全義為了巴結李嗣源，就極力推薦他平定魏州亂。張全義的意是很明確的，李嗣源一旦領兵征，就會兩條處，一是樹立威信；二是手握重兵，對將來篡奪帝位是很有利的，果李嗣源真的當了皇帝。己豈不又了新朝的功臣。但沒有李嗣源了魏州，並非與趙在禮打仗，是與聯手，共同進攻李存勛，這一這個推薦人嚇壞了。張全義恐怕李存勛殺掉他，日夜憂懼，連飯吃不。沒過幾就病餓死。就在這時，李存勖被部殺死了。