一方面玄宗認為他舉薦自己人做宰相不合適，另一方面玄宗認為他有些恃寵而驕，否則一個邊將怎麼會參合朝中宰相的任免之事？

也合該皇甫惟明倒黴，他在京城與韋堅相約於城外遊玩，恰好被李林甫手下的爪牙吉溫看見了，吉溫認為這是一個好機會，當即稟報李林甫，李林甫何等樣人，政治敏感性極高，他早就發現玄宗對皇甫惟明的恃寵而驕有些不滿，當即在朝堂上唆使言官彈劾韋堅與邊將私會，欲謀廢立之事。

玄宗最在乎他的統治地位，絕不容忍有人揹著他謀劃廢立之事，當幾個言官彈劾韋堅與邊將私會、欲謀廢立之事時，玄宗雷霆震怒，當堂下旨逮捕了韋堅和皇甫惟明，把他們下獄。

當這兩人被關進天牢之後，李林甫又讓好些依附他的朝中大臣們出來作證，這讓玄宗驚疑不定，玄宗開始懷疑韋堅和皇甫惟明兩人真有可能做這種事情，畢竟韋堅是刑部尚書，乃朝廷重臣，而皇甫惟明是隴右節度使，是最重要的邊關大將之一，隴右距離京師並不遠，他們兩人聯手的話，皇甫惟明的大軍如果行軍速度快，只需十天半個月就可以殺到京師，而內有韋堅裡應外合，這事只要策劃得當，完全有可能成功。

玄宗雖然懷疑，但卻沒有確鑿的證據，韋堅畢竟是朝廷重臣，皇甫惟明畢竟是邊疆大將，在沒有確鑿證據的情況下，就算是皇帝想要動他們也要顧及朝野輿論。

於是玄宗下旨說韋堅謀求官職地位，存在極大野心，把他貶為縉雲太守，又說皇甫惟明挑撥君臣關係，貶其為播川太守。

侯府大堂上，趙子良看完紙條臉色都變了，他知道皇甫惟明危險了，但是他卻無能為力。

勃勒罕見趙子良神色有異，於是問道：“侯爺，是不是出事了？”

堂下所有將校都看著趙子良，趙子良嘆道：“隴右節度使皇甫惟明將軍被貶為播川太守了！”

勃勒罕驚道：“為何會這樣？”

趙子良道：“皇甫將軍在京期間與刑部尚書韋堅在城外遊玩卻被李林甫的爪牙看見，李林甫以此為藉口誣陷韋堅私會邊將，欲謀廢立之事，陛下雷霆大怒，開始時把兩人抓入了大牢，但卻沒有證據，因此把二人貶官！”

已經晉升為昭武校尉的趙虎站出來拱手道：“叔父，聽聞你在河西之時頗受皇甫將軍照顧和看重，如今皇甫將軍有難，叔父你何不上書向陛下求情？以陛下對二叔的恩寵，應該會把皇甫將軍官復原職吧？”

“不可，萬萬不可！”程元振聽了大驚失色道。他畢竟長期待在宮中，對政治鬥爭頗為熟悉，也很敏感，而且趙子良與他相處得不錯，他不忍趙子良被拖入這件事情之中，涉及到皇位的問題，皇帝才不管是你誰，就算是親生父親也可以殺，更別說是一個邊將。

堂下有將領問道：“程公公，為何不可？”

程元振道：“侯爺既然不是朝中任何一方勢力的人，在這種事情面前最好不要參合進去，而且現在插手已經太晚了，如果侯爺尚書替皇甫將軍求情，不但救不了皇甫將軍，還可能會讓他死得更快，而且只怕連侯爺也會被有心人故意牽扯進去啊！”

聽了程元振這番話，趙虎頓時驚出一聲冷汗，連忙對趙子良道：“二叔，兒子愚鈍，差點壞了大事，請叔父責罰！”

趙子良對於趙虎敢於認錯的態度很滿意，抬了抬手道：“算了，你還年輕，這件事情就當給你一個教訓，日後一定要注意，要多聽多看多想，不要輕易發表意見！”

“是，叔父！”

儘管一直找不到韋堅與皇甫惟明欲謀廢立的證據，玄宗始終患得患失，實在不放心，再加上李林甫整日裡在他耳邊進讒言，玄宗最終還是忍不住下旨賜死了皇甫惟明。

才過了半個月，就從長安傳來訊息，皇甫惟明在播