1978年12月，已年届73岁的陈云在党的十一届三中全会上重任中共中央副主席。尽管肩上的责任愈加重大，但他对干部队伍的新老交替问题却感到深深的忧虑。
十年的“运动”极大地打乱了干部的新陈代谢，本该自然进行的更替过程变得异常艰难。

“文G”结束后，大批老干部复出，然而，这使得干部队伍老龄化的问题愈加突出。根据1980年中央组织部的统计数据，国家机关30多个主要领导人中，平均年龄高达63岁，55岁以下者仅占9%，而66岁以上者则超过了40%。
陈云在1979年3月25日的一次会议上感慨道：“我们这些人都快要‘告老还乡’了。刚解放时，我45岁，那时可以三班倒、四班倒，上午、下午开会，晚上同周总理谈，午夜去找毛主席，安排得满满的。现在我一个星期只能工作两个半天，多了不行。如果还要那样干，无非是向‘八宝山’开快车就是了！”

为了有效解决干部队伍的新老交替问题，1980年，陈云公开提出：“我们选干部，要注意德才兼备。所谓德，最主要的，就是坚持社会主义道路和党的领导。在这个前提下，干部队伍要年轻化、知识化、专业化，并且要把对于这种干部的提拔使用制度化。组织部门要在知识分子中多选拔培养一些中青年干部，知识分子可以当专家，但其中也有不少人是可以当领导干部的。”
尽管陈云积极呼吁，但老干部退居二线及提拔中青年干部的工作仍然遇到极大阻力。1980年底，电力工业部部长刘澜波因年事已高，主动要求退居二线，并推荐电力工业部副部长李鹏接替自己的职务。当时52岁的李鹏，年富力强，在电力部门工作多年，经验丰富，被认为是最合适的人选。

然而，刘澜波的意见报送中央后，遭遇了相当大的阻力。许多人对较年轻者担任党和国家高级领导职务表示不放心，认为他们“嘴上没毛，办事不牢”。在电力工业部内部，也有老同志联名向中央写信，反映不赞成李鹏当部长的意见。
面对这样的困境，刘澜波只得向陈云报告此事。陈云详细了解情况后，坚定支持刘澜波的意见。1981年2月，中央决定任命李鹏为电力工业部部长。
1981年7月2日，中央在怀仁堂召开会议，讨论提拔中青年干部问题。陈云在会上说道：“李鹏是从苏联学习回来的，搞电30多年，这次提拔当部长还有争论。我看到的名单，第一次不是李鹏，第二次才是李鹏，是刘澜波同志力争的。可见我们在提拔中青年干部方面做得多么不够！”

通过此事，陈云清楚地认识到，提拔新干部的阻力主要来自老干部。他在1981年4月与胡耀邦谈话时郑重提出：“我们要加快年轻干部的提拔和培养，不能因为老同志的保守观念而阻碍了党和国家的发展。提拔年轻干部不仅是组织上的任务，更是党的长远大计。”
他强调，组织部门必须有计划地培养和使用年轻干部，只有这样，才能确保党和国家的事业后继有人。
陈云在一次会议上指出：“在目前的形势下，我们必须大力提拔年轻干部，要成千上万地提拔中青年干部，至少一万个。为什么要成千上万？一条理由，二十几个省区市，加上中央各部委，提一两百个人够用吗？不够用。成千上万，这是工作的需要。再一条理由，只有成千上万地提拔经过选择的好的中青年干部，才能使我们的干部交接班稳定地进行。”

在1982年9月召开的党的十二大上，陈云、邓小平等老一辈革命家积极推动干部年轻化，取得了显著进展。
在大会选举的348名中央委员和中央候补委员中，有211名是新当选的年轻干部，这其中包括了日后成为中央第三代领导核心成员的江泽民、李鹏、李瑞环等人。
9月13日下午4点半，陈云与邓小平等领导人一同在人民大会堂新疆厅，接见了新当选的39名年轻的中央委员和候补中央委员。这些年轻干部不仅具备现代化的知识背景，而且在各自的专业领域内表现突出。
在这次接见中，当中央组织部的干部介绍最年轻的中央委员王兆国时，陈云笑着问道：“多大年纪？”
王兆国答道：“41岁。”

陈云亲切地招手道：“请你再站近些，让我仔细看一看。”王兆国激动地走上前，脸上泛起了兴奋的红晕。
有媒体对这一幕进行了生动的描述：
这不是一次普通的会面，也不仅仅是一般的接见。整个场面充满了温暖的气氛，老一辈无产阶级革命家们，这些曾引领中国革命航船乘风破浪的领袖们，此刻一个个面带微笑，握住每位走到他们面前的年轻同志的手。这是我们党新老合作和交替的握手，是老一辈无产阶级革命家传递革命火炬的握手，是党对中青年干部寄予无限希望的握手！
陈云为了给老干部们树立榜样，决定逐步退出领导岗位。1987年11月，在党的十三大上，陈云退出了党的中央委员会，并当选为中央顾问委员会主任。在他担任中顾委主任的五年里，陈云继续为推动干部新老交替做了大量工作。

1991年，陈丕显前往上海探望正在休养的陈云。陈云叮嘱道：“你回北京后，请转告中顾委的薄一波和宋任穷两位副主任，我决定十四大后不再继续担任职务了。我已经考虑好并做出决定。至于薄一波和宋任穷同志是否继续工作，以及中顾委以后是否设立，请他们研究。”
薄一波和宋任穷得知陈云的意见后，表示完全支持，并决定也要退下来。同时，他们建议党的十四大之后不再设立中央顾问委员会。1992年10月18日，党的十四大通过了关于中央顾问委员会工作的报告，会议同意不再设立中央顾问委员会的建议。
1986年6月，陈云曾写过一副对联送给一位老干部：
新竹高于旧竹枝，全凭老干相扶持。
来年更有新生笋，十丈龙孙绕凤池。
这副对联表达了陈云推动干部新老交替的坚定决心和美好愿景，正是他对于年轻干部培养的心情的最佳写照。