当时太平公主专权，宰相萧至忠、岑义等大臣都投靠她，只有象先洁身自好，从不去巴结。先天二年，太平公主事发被杀，萧至忠等被诛。受这件事牵连的人很多，象先暗中化解，救了许多人，那些人事后都不知道。

先天三年，象先出任剑南道按察使，一个司马劝象先说：“希望明公采取些杖罚来树立威名。要不然，恐怕没人会听我们的。”象先说：“当政的人讲理就可以了，何必要讲严刑呢？这不是宽厚人的所为。”

六年，象先出任蒲州刺史。吏民有罪了，大多开导教育一番，就放了。录事对象先说：“明公您不鞭打他们，哪里有威风！”象先说：“人情都差不多的，难道他们不明白我的话？如果要用刑，我看应该先从你开始。”录事惭愧地退了下去。象先常常说：“天下本来无事，都是人自己给自己找麻烦，才将事情越弄越糟（庸人自扰）。如果在开始就能清醒这一点，事情就简单多了。”

“庸人自扰”指不必要的自寻烦恼。

（出自《新唐书·列传第四十一》）