许世友在退休之后，就给上级递交了一封信，希望可以回到南京，一来是因为他不习惯住在北京的日子，二来他是想着等他回南京的时候，再找几个人帮忙，与自己一同写过往的回忆录。
许世友虽然被上级机关安置，但经过邓小平的批示，最终得到了上级的批示：“同意”。
返回南京以后，许世友开始过上了“隐居”生活。许世友很少在公开场合“抛头露面”，除非是有重要的事情要做。
许世友曾经说过，他已经退休了，就像是一个普通群众一样，他不想再为国家增加任何负担，而且他也希望自己的人生能够总结一下，这样他也能够为后来到人做一些贡献。

1980年，华国锋同志从日本回来，由上海到南京，临行之前，华国锋突然起意来探望许世友。
许世友告诉华国锋，他的健康状况良好，并且已经安排人协助他撰写过往的回忆录。二人相谈甚欢，临走之前，二人还在许世友的住处拍下来合照。
                        
                        
                        
                            
华国锋离开不久，叶剑英也到南京看望许世友，许世友得知此事，再三打听叶剑英飞机抵达的日期，并早早地赶到了叶剑英所住的中山陵5号等待。
许世友虽然“隐居”于南京，但也不是一点都不关心国内的事情。在与叶剑英吃饭时，许世友不断地向叶剑英打听一些他感兴趣的事情。
1985年年初，南京罕见的降下了一场鹅毛大雪，许世友居住在中山陵8号楼中，看着满大街的积雪，不禁感慨：“这么冷的天气，如果能喝上一口，那该多好啊！”
不过，他早前私藏的酒，早就被护工们以“健康问题”的名义收走了。他也只好闭上眼睛，细细品味，忍不住咂吧咂吧嘴。
就在许世友投入的时候，江苏省委书记韩培信忽然敲响了他的大门，语气焦急地对他说：“许老，小平先同志到南方了，途经南京，他想要当面跟你见一面。”

许世友愣在当场，过了好一会儿才回过神来。他赶紧对韩培信说道：“从来都是住客来拜访过客的，哪里有过客看过客道理。我陪你到火车站，等邓公到了再说。”
但韩培信上前阻止了许世友，安慰他说：“小平同志说了，让你照顾好自己，不要到处乱跑。稍后，他还会送上一些礼物。”
一股暖流涌上许世友的心头，他高兴地说好，等着邓小平“光临”。在这一刻，他不由得想起了当年同邓小平一起对抗越战争的情景。
久别重逢，许世友紧握着邓小平的手，一直等到他的助手告诉他，天气已经很冷了。他们这才清醒过来，回到自己的座位上.
邓小平仔细打量了一下许世友的家，关切地问道：“在这里过的还好吧？如果有什么问题，可以跟我说。”
许世友激动地点了点头，说：“我对政府的福利很满意，唯一的缺点就是，我们的工作人员不让我喝酒。”
大家闻言都哈哈大笑起来，邓小平更是被逗乐了，开玩笑地说道：“我就知道你戒不掉这嗜酒的习惯，所以今日我就送你一瓶茅台。今天，我就成全你。”

说着，他将一只密封的茅台放在了桌子上。许世友赶紧把它拿在手里，深深地嗅了嗅，说道：“确实是好东西，谢谢邓公对我的关心。”
两个老人这一天喝的很是开心。在离开之前，两人还一起拍了一张宝贵的照片，以示对这份令人难以忘怀的友谊。
1985年9月，杨尚昆专程到南京看望许世友，当时他卧病在床。这时，他的声音变得含糊不清，只能勉强说出一些话来，但杨尚昆却是能听见。许世友说：“这下我可玩完了。”
在他临死之前，他最放心不下的，就是必须要将他土葬。但是当时，国家提倡火化，周总理，朱德，以及其他领导人，都是用火化的方式。
至于为什么不火化，许世友非常的固执，在火化的时候，整个中南海的人都知道，他是不同意的，所以他才会去找毛主席，表示自己的不解。
对于许世友来说，他一辈子都在打仗，没有尽到对妈妈的责任，所以他必须要葬在母亲的身边，这样才能尽到自己的一份心意。
毛主席虽然没有明说，但是他觉得，这件事情还有很大的发展空间，或许再过个十几年，许世友就会回心转意了。
一九八五年十月二十二日，许世友离开了人世，享年八十。

4天以后，王震就带着邓小平的指示到达南京。邓小平把许世友看作是一个特别的英雄，他为我们的祖国做出了巨大的牺牲，并且因为他的个性、他的身世，所以被特批了土葬。
王震也表示，这是为许世友准备的特别通行证，只有他一个人例外，没有第二个人。所有为国家做出贡献的人，都要火化。
但是，邓小平还是禁止许世友举行追悼会，除了举行遗体告别仪式，也不可以在报纸上公布许世友的死讯，他的家人也不可以对外宣传。
最后许世友的旧部尤太忠给他做了一副棺木。反倒是自己的原先准备的那口棺木，被他留在了老家中。