皇上說：“無論侯君集能不能體諒朕的苦心，朕要把該盡的心盡到，該做的事做了，這樣纔不辜負這一番君臣際遇！”然後皇上就當沒有這麼一回事，侯君集沒有因爲這件事受到任何影響。張亮在前往洛州的時候，侯君集騎着馬爲他送行。到了十里長亭，侯君集說：“送君千里，終須一別。山高水長，來日再見。”張亮說：“如果你心裡有什麼想不開的可以找皇上說一說，或許很多問題都可以解開。”侯君集說：“討伐吐谷渾的時候，得勝還朝皇上親自迎接。討伐高昌的時候，得勝還朝皇上，只是派皇嗣迎接，同樣是得勝還巢，爲什麼我和李靖就差的這麼遠呢？”張亮說：“那段時間陛下臥病在牀，你也要多體諒嘛！”侯君集說：“如果陛下真的病重，我也不是那種不通情理的人，可我打聽過了，那段時間陛下雖然龍體不適，但並沒有嚴重到不能迎接我。”張亮說：“是不是可以這樣說，如果皇上當時沒有親自去迎接李靖，今天這件事情你就不會想不通了？”
侯君集說：“李靖打頡利的時候，手底下的士兵獲取了不少財富，御史大夫蕭瑀爲此彈劾李靖，皇上不但沒有追究，反而把他提到了尚書右僕射的高位。同樣的事情發生在我的身上，我就被下了大獄，免除一切職務，如果不是岑文本上表求情，這會兒我的腦袋已經搬家了。”張亮說：“在這件事情上陛下做的的確欠妥，可他不是已經糾正錯誤了嗎？”侯君集說：“李靖是什麼人？玄武門之役發生前，他拒絕支持陛下，而我一直跟着他出生入死，從來沒有放棄支持他，到了關鍵時候，陛下如此的厚此薄彼。這件事情我不是沒有找陛下說過，可陛下卻跟我擡出了尉遲敬德的例子，說尉遲敬德比我的功勞大，可他就從來沒有居功自傲，陛下未免也太健忘了吧！若同樣的事情發生在我的身上，我可能也已經腦袋搬家了。”
侯君集越說越委屈，眼圈是紅的，淚水不斷往出流，語帶哽咽。張亮說：“若要說委屈，你爲什麼不看看房先生呢？再想想杜公當年是怎麼死的？”一說這話侯君集頓時來了精神，說：“爲了自保，我們應該有所行動。”張亮說：“侯將軍其實我常常有一個想法，如果韓信當時背棄了劉邦，在項羽和劉邦之間不做選擇，那麼三足鼎立的形勢就會出現，韓信可以免於一死，如果運氣足夠好的話，還能夠統一宇內，坐上皇帝的寶座。”侯君集說：“我至今記得蒯通說的話，相君之面，不過封侯，相君之背，貴不可言。”侯君集說：“所以這一次去了之後，你一定要秘密的招兵買馬，到時候咱們一起行動。”張亮說：“我的話還沒有說完，雖然史書當中是那麼寫的，萬一韓信真的那麼做了，形勢會真的如蒯通說的那樣嗎？”侯君集說：“至少不會死的那麼窩囊。”張亮說：“在劉邦的帳下有張亮，有陳平，這些人的才幹遠超過蒯通，所以到最後韓信一定算計不過劉邦，劉邦仍然會得天下。”
侯君集說：“如果人人都像你這麼畏首畏尾，這世上還會有英雄豪傑嗎？”張亮說：“如今天下安定，人心歸唐。我們這麼做不會有人支持我們的，我覺得不妨學習尉遲敬德。要麼在任上兢兢業業，要麼就購買良田美宅安享晚年。”侯君集見張亮這個樣子心中十分失望，而張亮還在設法勸侯君集不要那麼做。很顯然他的努力沒有成功，張亮走後，侯君集回到家裡，整天想入非非。找來史書，專門閱讀那些謀反的橋段。他覺得這些東西在將來的某一天會用到，與此同時，他還秘密找來算命先生，白天謀於蓍龜，夜裡觀測星象。而這些替他問卦觀測星象的人，其實都是皇帝安排的人。
經過這些人的觀察，每次問卦的時候，如果問出來的結果是不宜行動，侯君集都會搖頭嘆氣。很快他就會又請人占卜，似乎不得出他想要的結果，就不會罷手。皇上說：“既然如此，你們就繼續替他玩下去。”那位算命先生說：“這不難，但有一節，時間久了，想必他也會發現我們在搗鬼，那個時候我們可就引火燒身了。”皇帝說：“這你們不用擔心，如果真有什麼意外，我會安排你們去一個非常安全的地方，保你們無事。”在之後的日子裡，侯君集仍然頻繁問卦。果然他起了疑心，但這些問卦之人一個個都巧舌如簧。一次又一次的躲過了侯君集的懷疑，這一天侯俊奇又一次把算命先生請到了家裡，對方說：“將軍，你已經一連七天把我請到府上了，這要是傳揚出去對將軍非常不利，也會給我惹禍上身。”侯君集說：“你不是會斷吉凶嗎？有什麼可怕的呢？”對方說：“我就是因爲覺得這件事不吉利纔給你說的嘛！”
侯君集爲何如此着急呢？一個重要的原因就是他發現皇帝凡是在處理涉及李靖的事情時都變得非常的謹慎，凡是牽涉到他侯君集的時候，皇帝似乎根本不把那件事當成一件事。曾幾何時房喬是他非常佩服的一個人，現如今他對房喬是有幾分看不起的。儘管如此，他還是承認房喬是一個具有大智慧的人。於是乘着夜色來拜訪，房橋本想把他拒之門外以避嫌，但是思前想後，認爲此舉不妥。畢竟大家是一起從玄武門走過來的弟兄，於是見了他。侯君集說：“陛下有今天，房先生居功至偉，可房先生的處境卻如此艱難，未來有什麼打算呢？”房喬說：“當年漢高帝有天下，離不開張子房之謀，可漢高帝得了天下之後，張子房請封陳留，隱居山野之中，練習導引之術，所以張子房得以安享晚年。我有心學習張亮，陛下卻讓我做了尚書左僕射久居端揆、人生盈滿，這怎麼能不讓人擔心呢？”
侯君集說：“房先生，如果你是我，會怎麼辦呢？”房喬說：“從古至今，最讓皇帝忌憚的是有軍功的人，皇上對李衛公可以說拿出了最大的善意，但是在這最大的善意背後，其實藏着一把鋼刀。皇上之所以屢次錯你的鋒芒，只是希望你不成爲第二個李靖。”侯君集說：“聽了先生的話，我好像有些明白了。”房喬說：“你一定聽說過這樣的故事，過去有人爲了抓猴，專門用生鐵做了一些罐子，罐子裡放着猴子愛吃的東西，空着手可以把手伸進來，一旦手裡攥着東西就拿不出來了。可猴子就是放不下手裡的東西，所以屢屢被人拿獲。侯將軍，放下是一種智慧。放下的只是一把吃的東西，得到的卻是整個生命，人生不宜過於盈滿，當年越國文仲和范蠡兩個人就因爲這個有了完全不同的命運。”
侯君集一臉不信，說：“既然如此房先生爲什麼不放下一切，攜美人遠遊呢？”房喬說：“張子房可以放下一切去山中修煉，我也可以做到的，只是陛下不讓我做張良，想讓我做蕭何。”房喬說這番話是出於一片赤誠，可聽在侯君集的耳朵裡房喬彷彿是在炫耀。侯君集一臉尷尬，輕輕的一拱手走了。房喬看着他的背影搖了搖頭說：“用不了多久，此人就要身首異處了。”這個時候，褚遂良來到長孫無忌的府上，長孫無忌用非常簡單的膳食款待他。褚遂良說：“司徒，咱們什麼時候行動呢？這一次一定要扳倒魏徵。”長孫無忌捋着鬍鬚，說：“這件事可急不得。”褚遂良說：“老實說我也是這樣覺得的，可是我這心裡就是不踏實。”長孫無忌說：“過去這些年，魏徵等人一直壓制着我們，現在他已經死了，皇上仍然對他十分懷念，長此以往，咱們關隴一系何時才能夠恢復過去的影響呢？”
褚遂良說：“這就要看司徒的謀略了。”長孫無忌說：“其實我也沒有什麼太好的辦法，現在唯一能做的就是等。”褚遂良說：“爲什麼要等的東西我都準備好了，只要你一句話，我馬上就把這些東西交給皇帝，他看到這些東西，我會在旁邊煽風點火，說不定陛下會在一氣之下敕奪魏徵的所有榮譽。”長孫無忌說：“水還沒有燒熱的時候，就不要把東西丟到鍋裡，因爲早放晚放口感完全不同。”褚遂良說：“反正都等了，也不差這麼一會兒。”而此時皇上在大內讓太監把魏徵之前遞上來的奏本放在一起，他一邊看着一邊想着。在過去的很多年，他接受過魏徵的建議。也有很多次把他的建議駁回了，他在想自己與魏徵的這一場際遇到底算什麼呢？魏徵到底與建成的關係比較好，還是與自己的關係更親密呢？每一次這麼想，他都自信的得出結論。自己與魏徵是知己，他與建成可不是。
自從尉遲敬德去了鄜州之後，每一天都過得不是很開心。不是因爲皇帝把他外放，而是因爲他熟悉軍事，對處理地方事物沒有什麼經驗。每當力不從心的時候，他都會萌生退意。可人同此心，都願意抓着權力不放，不願意放下權力去做一個閒散的人。經過了長時間的心理鬥爭，尉遲敬德終於下定決心，於是。讓手下的門客寫了一份奏表，表示自己因爲常年征戰，身上的舊傷屢屢復發。擔心死在外地，請求皇帝允許他回到關內頤養天年。奏表到了尚書省，房喬看了之後感慨萬千。對高士廉說：“尉遲敬德是一個明白事理的人，如果形勢不對、力有不逮，退是非常明智的選擇。”高士廉說：“以前我覺得侯君集足智多謀，而尉遲敬德不過是一個莽夫，現在看來，至少在有些事情上，他比侯君集明白。”
差人把這份奏表送到了大內，不久之後皇帝把廷臣召進了大內，來到御前看見皇帝的表情有些複雜。房喬說：“陛下，尉遲將軍說的都是實話，希望陛下能成全他。”高士廉說：“尉遲將軍雖然看上去孔武有力，實際上身上留下的傷數都數不過來，再說他對文墨一竅不通，讓他在地方上處理公務也實在有些爲難他了，不如從他所請，賜予良田美宅，讓他安度晚年吧！”皇上說：“尉遲敬德是難得的人才，而且屢次救駕，如果就這麼讓他回了家，是不是有些不妥呢？”房喬說：“尉遲將軍家在關內，雖然不再擔任實職，陛下可以授予他開府儀同三司，再授予參知機務之銜，這樣也不算是委屈了他。”皇上說：“既然如此，就讓中書省擬旨吧！”不久之後這時從長安出發乘快馬趕往鄜州。尉遲敬德跟制史一起返京，一路之上，歡聲笑語自不必提！
回到京城之後，皇帝先是賜宴。之後又少給他大量的財物，皇帝之所以這麼做，是因爲他想通過這件事向天下人展示，在貞觀朝沒有鳥盡弓藏、兔死狗烹。不久之後尉遲敬德就做出了一個決定，他不打算居住在長安，而是在終南山修建了別墅。據說別墅修得很大，在裡邊甚至還有道觀。這麼做有兩方面的考慮，沒有留在京師，是因爲他知道皇帝已經不再信任他了。而保持距離讓皇帝有安全感，也可以減少皇帝對他的猜忌。之所以要在山林之中大興土木，是因爲他想告訴皇帝自己的追求僅限於此，若是他在山中過着十分樸素的生活。旁邊一定會有人向皇帝說：“此其志不在小。”尉遲敬德的心思，皇帝自然是知道的。還有一節，尉遲敬德之所以選擇躲到山裡去，是因爲他知道皇子之間的爭奪已經開始了。爲了不讓自己和兒孫捲進去，只得去山中躲清靜。
別墅要修還沒有修成，尉遲敬德在這期間也沒有住在家裡，而是住進了道觀。他來的道觀不是一般的道觀，而是被皇家供養的一處大型道觀。觀主姓李，身形高大、眉目舒朗、三縷長然、風度翩翩。這一天清晨陽光灑在了窗戶紙上，尉遲敬德和觀主在一間在一間不大的房間裡飲茶。尉遲敬德說：“過去我在戰場上命懸一線，卻從來沒有害怕過，自從天下恢復太平，得了高官厚祿，我卻時常感到恐懼，這到底是爲什麼呢？”觀主捋着鬍鬚說：“那是因爲你擁有的東西越來越多，人在一無所有的時候，什麼都能豁得出去，當然什麼都有了，就會變得謹小慎微。”尉遲敬德說：“從前我只知道殺戮，不知道修道，現如今我已經放下了殺人的道，打算一心向道，你覺得我還需要做點什麼嗎？”
觀主說：“其實人只要真正放下距離到就不遠了，絕大多數情況下人是放不下的，即便是居住在深山老林之中，即便是在苦修，可各種需求仍舊掛在那個地方，即使不去滿足它，它仍然會在你注意不到的時候讓你現出原形。”尉遲敬德說：“若要修行，有佛道兩家，我跟佛教的大德也聊過，也曾經與真人有過接觸，朝中有很多人不喜歡沙門，那是因爲這一種說法來自異域，我身爲華夏後人，實在不應該皈依到胡人的門下。我有心去做一名真人，問題是我對於這一門一無所知，還請觀主賜教。”觀主笑着說：“如果攤開說，只怕是三天三夜也說不完，我就簡單說一說吧！道教來源於老子，但是老子在世的時候，老子過世很多年都沒有道教的門人。所以真正創立道教的實際上是張天師。但是在這之前有一個漫長的醞釀的過程，也有過一些相關的著作。在張天師之前，有一個人叫張角，他創立太平道，而張天師所創立的叫做五斗米道也叫做天師道。”
尉遲敬德說：“如果是張角更早，爲什麼他沒有被認定是創立道教的人呢？”觀主說：“因爲他所創立的這一門派沒有流傳下來，而天師道一直綿延到今。從古到今，人們一直在探求長生不死之術，在這個基礎上更進一步，就是通過修煉成爲仙人。不但可以自由的在天空飛翔，還可以居住在雲彩之上。因爲人們相信在雲彩之上一定有很多亭臺樓閣，在天上一定活躍着更多的珍奇野獸，比如麒麟、鳳凰、龍等。不僅如此，天上有天河、蟠桃園，總而言之，在天上有人間想象不到的快樂。張天師提供給人們這樣一種方法，通過修煉，從凡人變成神仙。”尉遲敬德的臉上洋溢着燦爛的笑容，嘴上卻說：“可是從古到今，爲什麼不曾聽說有一個人真的白日飛昇羽化成仙呢？”觀主說：“那是因爲修煉之人不求名利，低調至極，所以你不曾聽說這樣的故事。”
尉遲敬德說：“觀主見多識廣，不如你替我說一說那些修行之人的奇聞異事吧！”觀主爲尉遲敬德倒了一杯茶，說：“容我慢慢道來，在張天師之後有兩個人非常的有名，一個叫陶弘景，一個叫葛洪，這二人之後又有一個人就是藥王孫思邈，不光精通醫術，據說此人有不死之身。”尉遲敬德目瞪口呆，說：“你說的這些有史籍可考嗎？”觀主笑着說：“陶弘景、葛洪兩個人的名字在史書當中是可以找到的，至於孫思邈那就更不必說了，你是朝中的大官，想必也聽說過，他曾經參與修撰史書。”尉遲敬德說：“可是古往今來有很多人因爲服用丹砂而命喪黃泉，這件事情又該作何解釋呢？”觀主說：“秦始皇的時候，不斷派使者前往東海尋找不死仙藥，漢武帝的時候也做過同樣的事情，可是他們都不能得志。你覺得到底是爲什麼呢？”
尉遲敬德說：“我就是因爲不知道才向你請教。”觀主說：“那是因爲人只要做了皇帝，就不要想着尋求長生了。我前面不是說過嗎？要做到長生不死了，就必須放下。要知道人的各種妄求，會讓人的容顏衰老五臟腐爛。而做皇帝的人怎麼可能放下呢？人又貪權，又不想死，天底下沒有這樣的事。”尉遲敬德說：“你說的話如果讓皇帝知道了，說不定你也免不了焚書坑儒之禍。”尉遲敬德在山中的日子如何愜意姑且按住不提，只說在這長安城平康坊，有大量的人云集於此爲的是快樂。這些人大多衣着光鮮、出口成章。即使你沒有什麼錢去消費待在附近看看熱鬧也是好的，當然真正精彩的東西你是看不到的。幽蘭居從外面看十分冷清，當你真正進入了這處宅院，你就會看到很多精彩的東西。
因爲幽蘭居真正精彩的不在地面之上，而在地面之下。地下的採光條件是比較差的，以至於角落裡總是點着火把。牆上懸掛着各種各樣的刑具，只要你出現的這個地方，立刻就有一種膽戰心驚的感覺。之後在衆侍女的簇擁之下，如同女王一般的慕容幽蘭會出現在現場，這一整套儀仗雖然比不上天子以及皇親國戚，但也別是一番風景。一般來說，當香爐裡開始冒出香菸，整個空間瀰漫着一種香氣。帷帳之中出現了亮光，然後把帷帳拉開，就可以看到慕容幽蘭端坐在裡面。一身綾羅綢緞，珠光寶氣。一派富貴之相，且不失威嚴！有機會出現在這裡的，除了慕容幽蘭以及她手底下的人，大多非富即貴。這些人一個個大腹便便，在這個地方卻絲毫沒有威嚴可言。一個個在慕容幽蘭的面前卑躬屈膝，極盡諂媚之態。這個時候兩個體格壯碩的婦人，拎着一條碗口粗的鞭子，不停的抽打着地面。鞭子上不時冒出火星場面十分恐怖。