李显的昏庸，韦氏的乱政，武三思的得宠，使朝中大臣张柬之等人非常不安。他们多次劝李显除掉武三思，削弱武氏权力，加强皇室力量。但是，李显对他们的话根本听不进去，还把他的话转告给武三思，武三思知道张柬之等人在设法除掉他，就与亲信御史周利用、冉祖雍，光禄丞宋之逊，太仆丞李俊，监察御史姚绍之五个人商量对策，这五人是武三思的耳目，被称为“三思五狗”。这些人给武三思出了不少坏主意。他们策划好以后，就到李显面前说张柬之、敬晖、袁恕己、崔玄暐、桓彦范五大臣的坏话。他们说五大臣恃功专权，图谋不轨。韦后和武三思建议李显封五人为王，采取明升暗降的办法，夺取他们手中的实权。就这样，武三思把持了朝政，背后又有韦氏当靠山，更加飞扬跋扈，凡是反对他的人，一律被逐出京师，凡是为他效力的人，全部委以重任。不久之后，武三思认为时机成熟，就以五大臣诬陷韦后为由，流放五大臣到遥远的边疆。武三思勾结韦后除掉了五大臣，气焰更加嚣张，他得意洋洋地对亲信们说：“我不管什么好人坏人，只要效忠于我的，全都是好人。”一时间，奸佞之徒都被他网罗到身边。
韦后的女儿安乐公主也是个野心极大的人，她一心想做第二个武则天。在韦后纵容下，她飞扬跋扈，侮辱大臣，无视王法，为所欲为。她曾以自己是韦后的亲生女儿，李重俊不是韦氏所生，要求李显立自己为皇太女，以顶替李重俊的太子地位。对那些来自大臣们反对的声音，安乐公主竟说：“武则天可以做天子，难道我身为皇帝的女儿就不能当皇帝吗？”不仅如此，安乐公主还向李显提出，把昆明池作为她自己的私人湖泊，李显以没有先例为由委婉拒绝了。于是安乐公主命人挖掘了一个定昆池，长达数里，还派奴仆到民间强抢民女充当她府上的奴婢。有人把这些情况上告到左台侍御史袁从一那里，袁从一逮捕了安乐公主的奴仆，安乐公主请李显下令释放，软弱的李显竟然同意了。袁从一气愤地说：“皇上如此纵容公主，何以冶天下！”