按另一种传说，李德裕和李宗闵之所以水火不容，跟李宗闵忌惮李德裕的铁腕与能力有关。李宗闵做宰相时，李德裕正担任兵部尚书。有一天，京兆尹杜悰去拜访李宗闵，看到李愁眉不展。

　　杜悰：“想啥呢？这么专心！”

　　李宗闵：“你猜。”

　　杜悰：“又在想李德裕了吧。”

　　李宗闵：“我和他的关系越来越不融洽了，实际上就从没有融洽过。”

　　杜悰：“我有个主意，但你肯定不会采用。那就是，推荐他做御史大夫。”

　　御史大夫被唐人看重，相当于副宰相。

　　李宗闵思忖良久，最后答应了。于是，杜悰跑到李德裕那里，把李宗闵打算推荐他做御史大夫的事讲明，李德裕喜不自禁。但后来，牛党要员杨虞卿知道了这件事，断然否决了这个提议。李德裕得知后大怒，从此“二李”老死不相往来。

　　李德裕跟牛僧孺的关系同样形同水火。

　　当时，出现了一篇叫《周秦行纪》的志怪，以牛僧孺第一人称自述的口吻，讲述其在德宗贞元年间进士落榜后返回故里途中夜入汉文帝母薄太后庙的离奇遭遇：“余真元中，举进士落第，归宛叶间。至伊阙南道鸣皋山下，将宿大安民舍。会暮，失道不至。更十余里，行一道甚易，夜月始出，忽闻有异气如贵香，因趋进行，不知厌远。见火明，意庄家，更前驱，至一宅，门庭若富家……”

　　在庙里，作为死鬼的薄太后又叫来了一批死鬼作陪，其中包括“狭腰长面，多发不妆，衣青衣”的戚夫人﹑“柔肌稳身，貌舒态逸，光彩she远近，多服花绣”的王昭君、“纤腰修眸，仪容甚丽，衣huáng衣，冠玉冠”的杨贵妃、“短发丽服，貌甚美，而且多媚”的绿珠等人，甚至还有当朝皇帝的妃子。

　　宴饮中，薄太后问：“今天子是谁？”

　　牛僧孺答：“今皇帝为先帝长子（德宗）。”

　　杨贵妃大笑：“沈婆儿做天子也？大奇！”（德宗的母亲沈后即传说中的江南女子沈珍珠，“安史之乱”中失踪。）

　　酒酣之后，薄太后问：“牛秀才远道而来，今晚谁人陪寝？”

　　戚夫人率先起身，说：“家里孩子还小，我可不行。”

　　绿珠也婉拒。

　　薄太后看了看杨贵妃，表示贵妃为先帝妃子，陪睡也不合适。最后，盯住王昭君，说：“昭君始嫁呼韩单于，复为株累弟单于妇，固自用，且苦寒地胡鬼何能为？”大意是，你王昭君远嫁塞北匈奴，又嫁给两任单于，身份相对寒微，就没推脱的理由了。

　　王昭君羞愧不已。

　　就这样，王昭君陪牛僧孺睡了一宿。

　　据说，这篇志怪是李德裕的一位叫韦瓘的门生写的，用以打击政敌牛僧孺。

　　有人曾拿着这篇志怪告牛僧孺的状，文宗皇帝看后大笑，说：“牛僧孺安敢称先皇后为沈婆？此定是他人冒名所作，嫁祸于人。”

　　文宗皇帝还是很明白事理的。

　　不管这篇志怪是不是出于李德裕的门生，或者说是不是李德裕授意而作，都说明当时牛李两党争斗之激烈。除朋党难，原因之一是满朝重臣，不是牛党就是李党；之二是两党背后都有专权宦官的支持。

　　虽然李德裕的形象更为正面（较之于牛党成员，在反对藩镇割据、qiáng硬对待回鹘以及反控宦官方面更有力），但实际上他跟宦官也保持着密切来往。当时，有宦官到地方监军的惯例。李德裕跟这些监军宦官保持着良好的关系，因为那些宦官期满回京后，即可直接向皇帝推荐李德裕。唐武宗时，李德裕被召回长安做宰相，基本上用的就是这个手段。

　　武宗时代，李德裕备受恩宠，做了六年宰相，把牛党成员全部扫出朝廷，李宗闵最后死在湖南贬所，牛僧孺也被赶到遥远的地方。

　　李德裕为相的岁月，施政风格刚健有力，满朝清明肃然。但同时，由于出身世家高门，他的贵族做派又非常突出，以奢华为例，按《独异志》记载：“武宗朝宰相李德裕奢侈极，每食一杯羹，费钱约三万，杂宝贝、珠玉、雄huáng、朱砂煎汁为之，至三煎，即弃其滓于沟中。”也就是说，李德裕每喝一杯羹，价值三万钱，而且羹汤是用当时稀有的珠玉、雄huáng、朱砂等煎熬，熬到第三次后，这些珍贵的药材就扔到地沟里。可以设想，连李德裕家的地沟也充满了宝物。

　　李德裕又好收藏古董，最喜怪石奇木，“每好搜掇殊异，朝野归附者，多求宝玩献之”。他在洛阳郊野修建的别墅平泉庄“去洛城三十里，卉木台榭，若造仙府。有虚槛，前引泉水，萦回穿凿，像巴峡、dòng庭、十二峰、九派迄于海门江山景物之状。竹间行径有平石，以手摩之，皆隐隐见云霞、龙凤、糙树之形。有巨鱼肋骨一条，长二丈五尺，其上刻云：‘会昌六年海州送到。’……”

　　但是，武宗一死，李德裕的境遇马上发生了翻天覆地的变化。

　　唐宣宗以皇太叔的身份继位，由于深深厌恶前任武宗皇帝（宣宗为亲王时，韬光养晦，装傻充愣。作为侄子的武宗，每每侮rǔ他。又传，曾一度意图谋害他），把这种厌恶也转到李德裕身上。这只是原因之一。另外一个原因是，事必躬亲的宣宗无法容忍这样一个qiáng势的宰相每天在自己眼前晃悠，代他处理政事。

　　李德裕太孤傲严肃了，太不怒自威了，这叫宣宗深深地忌惮。每次上朝，看到李德裕，宣宗往往“寒毛倒竖”。这样的君臣关系算是没法处了。宣宗继位没多久，李德裕就被打发到东都洛阳，虽然丢了宰相之位，却还不算被贬官。尽管如此，李德裕心里还是不踏实。他曾向一善于预测的僧人问吉凶之事，僧人指出李近期将有灾难，会被贬到更遥远的南方，且南行之期月内即见分晓。

　　李德裕郁闷，努力说服自己不要相信。

　　“不相信？那这样，我们做个实验。”僧人说着，一指地下，“此地下埋有一石盒。”

　　李德裕立即叫人挖掘，果得一石盒。李德裕大惊，问：“贬至南方既然不可免，那么我想问一句，还有回旋的余地吗？”

　　僧人道：“还有这个机会。”

　　僧人又道：“您这一生，应吃一万头羊。到现在为止，您已吃了九千五百头。也就是说，以后还有吃五百头羊的日子，官位未绝。”

　　李德裕长叹一声：“法师真乃神人！宪宗皇帝元和十三年，我在北都太原为张弘靖宰相的部下，曾梦见自己行于晋山，那里是一眼望不到头的羊群，有牧羊人告诉我，这满山之羊是我平生所吃之羊。这个奇异的梦被我隐藏数十年，一直未向他人说过，而现在看来，正中禅师之言！”

　　尽管很悲伤，但李德裕还是抱有一丝侥幸，因为如那僧人之言，自己还有吃五百头羊的机会，即使每天都吃羊ròu，吃完这五百头羊，也需要十年。也就是说，自己还能显贵十年。以自己现在的年纪而言，十年足矣！