开始时，第五伦在太原和上党之间运盐，所过之处，他默默的把道路打扫干净，路人称赞他，亲友和熟人却不知道。后来第五伦出任会稽太守。他自己锄草喂马，妻子下炊作饭。除了口粮，他的俸禄都到了贫苦百姓家。

他离开会稽时，郡中百姓攀住他的车马，啼哭着跟着，最后第五伦悄悄乘船而去。蜀郡地肥民富，很多富人都担任了官职。第五伦来到蜀郡后，改任贫寒有节操的人为官。贿赂之风最终被禁绝，他举任的许多人最后官至九卿。

有人认为第五伦没有私心，他说：“先前有人送我一匹千里马，我没有接受，也没有任用此人，但每次选拔荐官员时，我心里都无法忘记这事；我兄长的儿子生病，我一夜起来去看望十次，回来后能安然入睡，我的儿子生病，虽然没去看望，却整夜失眠。这样看来，我怎么能说没有私心呢？”

（出自《后汉书》）