生性體弱多病，開始服辟穀之藥，靜養修煉，一年多門不出。

劉邦想廢太子，重新立戚夫人的兒子趙王如意。引起了大臣的進諫和爭議，沒有得到堅決有力的支援。呂后十分恐慌，不知道該怎麼辦。有人悄悄對呂后說：“留侯張良最善於出主意，皇上也很信任他，可以請他想想辦法。”呂后便派建成侯呂澤去請張良，對他說：“先生經常充當皇上的謀臣，現在皇上要廢立大子，先生能袖手旁觀嗎？”張良回答說：“過去皇上多次在危急之中採用我的計策轉危為安，如今天下太平，皇上以自己的愛憎想廢立太子，那是他們骨肉之間的事，我們做臣子就是有上百人反對也不起作用。”呂澤一定要他出個主意，說：“請替我們想個辦法。”張良說：“這不是能憑口說解決問題的。我看皇上也難以請動的，天下只有四個人，這就是被稱為‘商山四皓’的東園公、綺裡季、夏黃公、角里先生。四個人年歲都高了，都以為皇上過去侮辱過儒生，所以逃到山中藏了起來，恥於當漢臣。但是皇上卻對這四個人十分尊重。如果現在你真能捨得拿出金銀財寶來，讓太子寫一封信，用謙躬的語言派上車去請他們，派上個能言善辯的人一定要請他們出山，或許能把他們請出來。他們來了之後，一定要待如上賓，每次公子上朝都讓他們陪同，故意讓皇上看見，皇上一定會感到奇怪問是什麼人。如果皇上問起他們，一定知道四位是賢人，這就會大大地幫助太子。”呂后於是命令呂澤派人帶上太子的書信，用最謙躬的話語和最豐厚的禮品，去迎接四位老人。四人來了，住在建成侯呂澤家裡。

漢十一年，黥布謀反，劉邦病了，想讓太子帶兵去討伐黥布。四位老人都說：“從來的皇上都會讓太子留下，如果讓太子去帶兵，形勢就危急了。”他們對呂澤說：“太子去帶兵打仗，如果有功勞，太子處的地位對他不利；如果無功而還，那就會從此受到禍害。再加上太子所率領的各位將領，都是曾經跟隨皇上打天下的驍勇之將，如今讓太子去率領他們，和讓羊去率領狼沒有什麼不同，都不會為太子出力，肯定不會打勝仗。我們曾聽說‘母親一定抱她喜歡的兒子’，如今戚夫人日日夜夜都守候在皇上身旁，常常把起王如意拖到皇上跟前，皇上說‘一定不能讓那個不肖子居於我的愛子之上’，這說明他是一定要廢立太子的。你何不趕快去請呂后找機會向皇上哭訴說‘黥布是天下聞名的一員猛將，很會帶兵打仗，如今的各位將領都是和陛下平輩的故舊，如果命令太子去率領這些人，和讓羊去指揮狼沒有什麼不同，決不會為他效力的，如果讓黥布得到這個訊息，他更會無所畏懼地揮師西進。皇上雖然有病，準備一輛很好的車子，安安穩穩地躺在上面，這樣諸將沒有敢不盡力的。皇上雖然辛苦一些，也使自己的妻兒得到好處。’”呂澤立刻連夜拜見呂后，轉告了四皓的意見。呂后便找機會向劉邦哭訴，把四皓的意見都講了。劉邦說：“我也知道太子一定不能當此重任，還是讓我親自去吧！”於是劉邦御駕親征，命令群裡留守京城，君臣都將劉邦送到灞上。張良雖然有病，也強支撐病體，趕到曲郵見到皇上說：“本來我應該跟隨你去才是，但是我病得很重。黥布率領的楚軍十分兇狠，希望皇上一定不要和他們硬拼。”同時他又向劉邦建議：“應該任命太子為將軍，監督關中的軍隊。”劉邦同意了他的意見，對他說：“你雖然有病，還是請你強支病體輔佐太子。”那時叔孫通擔任太傅，張良行使少傅的職責。

漢十二年，劉邦鎮壓黥布的叛亂後率兵歸來，這時他的病更重了，愈加想廢立太子。張良勸阻，他仍然不聽，張良本身也有病就不管事了。太傅叔孫通說古道今，以死相爭保護太子。劉邦雖然表面答應，心裡還是想廢太子。一次皇上宴請群臣，太子在坐，四位老人輔佐太子，年紀都已經八十多歲了，頭髮和眉毛都全白了，穿戴的衣帽都很有氣派。