恩惠，只怕他不会对你心服口服。朕打算贬他为外官，若是他奉命离开京城，待到朕驾崩之后，你做了皇帝，即授给他仆射之职。他受了你的恩惠，必定为你尽死力。若是朕将他贬为外官，他托辞不肯离开京城，或是离开京城之后心怀不满，朕立时便会将他诛杀，免得朕驾崩之后，李绩起兵反叛，只怕无人能够制得住他。

    后来李世民下诏，贬徐世绩为叠州都督，即日离开京城赴任。徐世绩受命之后，连家都没有回，立时离开京城，星夜赶往叠州。李治即位当月，便即下诏将徐世绩召回京城，先拜他为洛州刺史，又加封他开府仪同三司，出任同中书门下，参与朝政大事。同年册拜徐世绩为尚书左仆射，权柄仅在皇亲国戚长孙无忌之下。

    李治欲册封武氏为皇后，担心朝中大臣反对，先召见长孙无忌、于志宁、诸遂良等顾命大臣商议此事。徐世绩此前已经听到风声，是以称病未去。李治将打算册封武氏为皇后之事说出来之后，长孙无忌、于志宁出言相劝，褚遂良更是言辞激烈，阻止李治废掉王皇后，甚至摘下官帽，将官笏放在地上，一边痛哭一边磕头苦劝。

    其时武氏躲在内室偷听，见诸遂良如此行事，心中大怒，竟然在内室怒吼出一句何不诛杀此獠。长孙无忌等人闻言大惊，以为大唐立国以来，从来没有后宫干预朝政之事，此为不祥之兆，是以纷纷告罪退出。李治见此情形，知道这几位重臣全都反对废王立武，心中又惊又怒。武氏更是在他面前撒起泼来，叫骂着要杀掉长孙无忌和诸遂良等人。

    李治虽然宠爱武氏，不过他知道长孙无忌和于志宁、诸遂良等人都是李世民留下来的顾命大臣，这些人不只位高权重，而且在朝廷之中同党重多，若是将这几名顾命大臣斩杀，天下人都会腹诽自己违背先帝的意志，长孙无忌等人的同党也会群起而攻之。到了那时，不只武氏坐不上皇后的宝座，只怕自己的龙椅也无法坐得安稳。是以思虑再三，虽然武氏拼命撺掇，李治仍然不敢对长孙无忌等人下手。