李显的昏庸,韦氏的乱政,武三思的得宠,使朝中大臣张柬之等人非常不安。他们多次劝李显除掉武三思,削弱武氏权力,加强皇室力量。但是,李显对他们的话根本听不进去,还把他的话转告给武三思,武三思知道张柬之等人在设法除掉他,就与亲信御史周利用、冉祖雍,光禄丞宋之逊,太仆丞李俊,监察御史姚绍之五个人商量对策,这五人是武三思的耳目,被称为“三思五狗”。这些人给武三思出了不少坏主意。他们策划好以后,就到李显面前说张柬之、敬晖、袁恕己、崔玄暐、桓彦范五大臣的坏话。他们说五大臣恃功专权,图谋不轨。韦后和武三思建议李显封五人为王,采取明升暗降的办法,夺取他们手中的实权。就这样,武三思把持了朝政,背后又有韦氏当靠山,更加飞扬跋扈,凡是反对他的人,一律被逐出京师,凡是为他效力的人,全部委以重任。不久之后,武三思认为时机成熟,就以五大臣诬陷韦后为由,流放五大臣到遥远的边疆。武三思勾结韦后除掉了五大臣,气焰更加嚣张,他得意洋洋地对亲信们说:“我不管什么好人坏人,只要效忠于我的,全都是好人。”一时间,奸佞之徒都被他网罗到身边。
韦后的女儿安乐公主也是个野心极大的人,她一心想做第二个武则天。在韦后纵容下,她飞扬跋扈,侮辱大臣,无视王法,为所欲为。她曾以自己是韦后的亲生女儿,李重俊不是韦氏所生,要求李显立自己为皇太女,以顶替李重俊的太子地位。对那些来自大臣们反对的声音,安乐公主竟说:“武则天可以做天子,难道我身为皇帝的女儿就不能当皇帝吗?”不仅如此,安乐公主还向李显提出,把昆明池作为她自己的私人湖泊,李显以没有先例为由委婉拒绝了。于是安乐公主命人挖掘了一个定昆池,长达数里,还派奴仆到民间强抢民女充当她府上的奴婢。有人把这些情况上告到左台侍御史袁从一那里,袁从一逮捕了安乐公主的奴仆,安乐公主请李显下令释放,软弱的李显竟然同意了。袁从一气愤地说:“皇上如此纵容公主,何以冶天下!”