683的冬天，唐高宗李治在洛阳城的贞观殿去世，留下遗诏，命皇太子李显登基，但”军国大事有不决者，取天后处分。”而裴炎升任中书令受遗命辅佐唐中宗李显。
在这三个人中，唐中宗李显是话语权最弱的那个人，武则天临朝称制，而裴炎将政事堂迁到了中书省，成为宰相之首。
不过或许是李显太过年轻，在他刚刚登基不久，他就试图摆脱武则天的控制，所以他急于培植自己的力量，皇后韦氏的母族就成为他的选择，他想让韦后的父亲韦玄贞做侍中，又想让乳母的儿子成为五品大员。
裴炎作为顾命大臣岂能任由李显胡闹，他竭力阻止此事，羞恼成怒的李显直接说：“我意让国与玄贞，岂不可？何惜侍中邪？”
这让裴炎很失望，他向来知道李显软弱，没想到他居然有这样的想法，他自然不能让李显胡作非为，也不能接受有这样一个不听话、不可控的皇帝，于是，裴炎就将这件事告诉了武则天。
在这件事上，裴炎和武则天的意见惊人的一致，两人都想要废了不听话的李显，于是两人合作了一把，将李显赶出了京城。可怜李显做了不到两个月的皇帝，就被自己的亲生母亲给废为庐陵王并且外放。不过，裴炎虽然在这件事上和武则天达成了合作，但是他并没有支持武则天。
实际上，他并没有想过帮助武则天登基为帝，甚至他是非常不喜欢武则天称帝的，他只是想找一个听话的皇帝，而他的对象就是唐睿宗李旦。李显被废之后，李旦登基为帝，而武则天依旧临朝称制。时间久了，裴炎就不耐烦了，他想方设法想要让武则天归政于李旦，让李唐王朝的统治走上正轨。
武则天想立武氏七庙并追封先祖为王，裴炎就拿出吕后的例子才劝阻；武则天又在武承嗣的劝谏下想除掉李元嘉等李唐宗室成员，裴炎又出来阻拦，等等。
两人之间的矛盾越来越大，到了后来，裴炎甚至计划在武则天游龙门的时候以武力逼迫武则天归政于唐睿宗，结果因为天气的原因，武则天取消了这次出行，让裴炎的谋划落了空。
但这依旧不能让裴炎气馁，在大唐名将徐茂公之孙徐敬业扬州起兵反对武则天的时候，裴炎再次在朝堂上提出让武则天归政于李旦，他说：
“天子年长矣，不豫政，故竖子有辞。今若复子明辟，贼不讨而解。”
武则天此时已经有了除掉裴炎的心思，御史知道武则天的心思，于是弹劾裴炎有异心，武则天趁机将裴炎下狱，并不顾大臣们的劝谏，坚持“炎反有端，顾卿未知耳。”很快，武则天就下令将裴炎在都亭驿斩首。
对于这一切，唐睿宗这个傀儡皇帝完全没有任何话语权，只能看着自己的母亲把持朝政，甚至将他软禁。
不过，关于宰相裴炎的死因，正史之外，笔记小说中还有另外的解释，唐高宗时期进士及第的青钱学士张鷟的笔记小说《朝野佥载》中有这样的一个记载，说是徐茂公的孙子徐敬业（当时还叫做李敬业）在扬州起兵反对武则天把持朝政。
徐敬业想要让当朝宰相裴炎做自己的内应，但将裴炎拉下水谈何容易，他让骆宾王为自己出谋划策。骆宾王略一沉思，就编了一首童谣：“一片火，两片火，绯衣小儿当殿坐。”然后让洛阳一带的儿童传唱，而且故意让裴炎能听到。
裴炎那段时间经常听到这个童谣，就上了心，寻找文人学士对其进行破解，而骆宾王就在此时进入裴炎的视野，不过起初骆宾王什么都不说，无论裴炎拿出什么东西来，都不能打动他。但当裴炎拿出古代的忠臣烈士图而骆宾王看到司马懿的画像时，终于告诉了裴炎童谣的意思，直指裴炎。
裴炎心动，就答应和徐敬业合作，当徐敬业准备起兵的时候，裴炎就给徐敬业送去了一封信，只不过信还没有到徐敬业的手中，就被武则天的人截获了。
不过，当他们打开信的时候，却发现此信很是蹊跷，竟只有两个字：青鹅。众人不解其意，武则天接过信，沉思了片刻，对群臣说：“此‘青’字者十二月，‘鹅’字者我自与也。”其中的深意呼之欲出，这不是就是裴炎要成为徐敬业在京中的内应吗？而且还约定了时间。
武则天岂容裴炎在自己面前行如此之事，直接将裴炎下狱并很快将其诛杀，而徐敬业的浩浩大军也没有坚持多久，九月起事，十一月就落败了。当然，关于“青鹅”的这个故事只出现在笔记小说中，并不见于正事，其真实性大打折扣，姑且当个一个故事即可。