当陛下传旨让侯君集担任渤海元帅的时候，李绩开始有些担心，是不是杜荷成长的太快了一些，想清楚这些。
他便说道：“贤侄，老夫一直想对你说一句话，木秀于林，风必摧之，你懂我的意思吗？”
杜荷听完以后，忽然发觉自己还是有些太天真了，军师李绩晦暗的告诉 自己，做人还是低调一点的好，不过杜荷却一直高调做事，并不懂得含蓄蕴藉。
他一直认为李世民不是那种胸怀狭小的人，一直没有注意这些事情，而军师今日这般说话，说明李世民有可能已经在防备着自己。
而侯君集的到来，有可能就是传递了这样一个讯息。
杜荷嚼了一根草，说道：“军师，你知道 我杜荷一直以来，是别无所求的，如果真的因为这样的功勋，让人防着我的话，那么我宁愿与家人闲云野鹤的过着闲散的日子。”
李绩叹了一口气，不在说话，两人就这样望着远处的草原，各自想着各自的事情。
此时此刻，长安大明宫里的李世民已经得到了杜荷回来的消息，当听说杜荷安安全全的回来之后，他忽然有些踌躇不决，对于杜荷的安排，也不知道 是否正确，于是派人去将仆射长孙无忌唤了过来，长孙无忌很快的就来了。这样的事情他也只能找长孙无忌来商量了。
李世民对于杜荷如今是又喜又怕的，突厥已经灭国了，渤海如今也就剩下几个不足为虑的府州，只要**抓住时机以后，就可以收复，可是这个驸马自己该怎么安排呢？该给他一个什么官职才好呢？该怎样安排他呢？自己明明在出征的时候，答应 过他，赢了渤海，那么就封赏他为渤海王，可是，回过头来想一想，他还这样年轻，是不是早了点。
长孙无忌来了以后，李世民对他说出了心中的顾虑，如今驸马杜荷带兵征服了渤海国，而自己以前承诺过，如果战胜了渤海铁世文，那么就封赏他为渤海王可是，他中途却失踪了，如今回来了这倒有些麻烦了。
长孙无忌沉思片刻说道：“陛下不必为此事介怀，征东大元帅杜荷应该有罪，陛下应该立刻 将其捉拿归案。”
李世民一听这话，倒有些郁闷，这杜荷打赢了这场战争，何来的罪呢？于是他便问道：“辅机，你别说笑了，驸马何罪之有呢？”
长孙无忌缓缓说道：“微臣说有罪，他就有罪，其罪有三，一是身为大元帅，私自脱离战场，去救人，这就是其罪一。其二身为大元帅，竟然无故失踪三个多月，致使我军错失了最佳收复渤海全境的时机。”
看了看李世民的反应，长孙无忌继续 说道：“其罪三元帅杜荷，在战争时期竟然与一女子消失三个月之久，如果不问罪与杜荷，那么如何向我大唐十几万士兵交代呢？况且战场之上不得携女眷这是军纪，杜荷身为元帅知法犯法，理应罪加一等，请陛下尽快捉拿杜荷。”
李世民有些忧虑，听了长孙无忌的话，他不知道 该不该下旨捉拿杜荷，一方面杜荷确实打赢了渤海，一方面杜荷也确实触犯了军纪，这几年的时间，杜荷的所作所为，越来越让自己不放心了，他成长的太快了，自己如今还在这个宝座还好，如果哪一天自己不在了，那么太子继位能不能拿的住杜荷还是另外一回事。
自己该怎么办，如今太子继承大统之后，能不能约束住杜荷呢？他知道 太子与杜荷之间有那么一些嫌隙，所以他担心接任皇位的人能不能降服杜荷呢？他不敢想，历史上这样的事情很多，不由的他不去考虑 大唐日后的事情。
沉思许久之后，李世民缓缓的点了点头，说道：“既然如此，那么就依辅机的话，将杜荷带回长安处置。”
李世民有些疲倦的来到甘露殿，长孙皇后看到他这幅样子，就知道 他心里肯定有事，李世民也没有犹豫，便将杜荷的事情说了出去。
长孙皇后耐着性子听完以后，说道：“陛下，这样做不觉得有失偏颇吗？再说了子明如今这样做，还不是为了陛下的江山，再说了陛下对他恩**有加，他有什么理由，到时候做出一些谋逆的事情呢，陛下你就是想的太多了。”
李世民听完长孙皇后的话，深深的叹了一口气说：“哎，朕怎能不明白这些呢？有些事情还是要以防万一的，再说了人性这样的东西，看不见摸不着的，你也不知道 他想的是什么。”
长孙皇后思虑片刻后说道：“陛下，纵然如此，你也不能就凭那点理由，将他捉拿回长安，你这样不知道 ，要寒了多少武将的心，从此以后谁还替陛下你征战四方呢？”