于成龙是山西吕梁市人。顺治十八年（1661年），四十四岁的于成龙才开始做官，到广西柳州罗城当县令。罗城地处万山丛中，偏僻荒凉，少数民族杂居。在困境中，同来的五名从仆或死或逃，而他以坚强的意志，扶病理事，迈开宦海生涯的第一步。数年后，罗城大治。

于成龙在罗城居官七年，不仅肃清了盗匪，而且建了学宫，创养济院，洁己爱民，“与民相爱如家人父子”。官爱民，民亦爱官。罗城民众怜悯于成龙独身一人滞留如此凄苦之地，早晚都过来问安，并叹其度日过于清苦，就把自己仅有的一点蔬果送来，都被于成龙婉言谢绝了。

后来于成龙在回顾罗城七载生涯时说：“日二食或一食，读书堂上，坐睡堂上，首足赤露，无复官长礼。夜以四钱沽酒一壶，无下酒物，快读唐诗，痛哭流涕，并不知杯中为酒为泪也！”

因政绩卓著，康熙六年（1667年），于成龙晋陞为四川合州知府。辞别罗城时，父老遮道呼号，竟追送数百里，痛哭而返。这样的感人场面在的宦海生涯中后来再度出现。当他陞任福建按察使，离黄州赴福建时，“民送至九江，凡数万人，哭声与江潮相乱”。得民心如此，在历史上是绝无仅有的。

康熙二十年（1681年），于成龙受命为两江总督。赴任时租了驴车一辆，路上自投旅舍，从未烦扰沿途府县。到任后，于成龙断然拒绝入住府第，拒受礼品，谢绝接风洗尘之宴，江宁为之震动。在两江总督任上，于成龙对州县官吏提出了六条基本要求：勤抚恤；慎刑罚；绝贿赂；杜私派；严征收；崇节俭。凡他所到之处，“官吏望风改操”。

作为清朝一品大员的于成龙貌似严厉，其实待人非常随和，没有官架子。公务时间，他的衙署大门始终敞开着，官吏有事找他，就直接进入他的寝室。他的桌案上左边放着生姜、豆豉，右边放着案卷文书，就像农村的教书先生一样，随便与人交谈。江南生活比较富裕，许多官员以纸醉金迷为荣。于成龙却每日食粗粮、青菜，被江南人称为“于青菜”。

遇上荒年，他即以糠屑杂米为粥，全家人都这么吃，客人来了也不例外。客人问他，为甚么要这么清苦？他答道：“多留一些米，就可以多赈济一些饥民。”于成龙吃饭简单，喝茶更是简朴：他的仆人无钱为他买茶叶，每日采摘衙门后院的槐树叶给他代茶用，树叶竟为之秃！

在于成龙的影响下，江南各地的社会风气发生了明显变化。官僚、巨贾都脱下绫罗绸缎，改穿布衣；高门大户，将大门楼改筑成小门楼；横行乡里的少数恶霸，也都悄悄地避居到外地。

康熙二十三年（1684年），于成龙又兼理江苏、安徽两省巡抚之事，不久病逝。同事们为他清点遗物，箱子中只有粗线织的袍子一件和床头佐餐用的几包炒豆子，再无其他一件值钱的东西。于成龙去世后，“民罢市聚哭，家绘像祀之”。后来，凡是他做官的地方——江宁、苏州和黄州等都为他建立了祠堂。康熙皇帝称赞他：“居官清正，实天下廉吏第一。