看到李显愁眉苦脸的样子，韦氏轻蔑一笑说道：“王爷也不必忧虑了，这都是造化使然，你们兄弟虽都是母后所生，我看却没有一个像母后的，如今弄得死的死亡得亡、流放的流放，大唐江山姓了武，这是谁也改变不了的事实，王爷忧虑又有什么用呢？”
听韦氏这样一说，李显虽然生气，但并不敢发作。自从来到这流放地，让韦氏与孩子们受了那么多的苦，李显深感自己对妻儿的愧疚，所以，平日里，韦氏埋怨几句，他也就认了。
李显在房州小心谨慎做好他的庐陵王，不敢有丝毫的懈怠，但成为皇帝的武则天并不因为儿子听话，就放松对他的警惕。
在房州清苦度日的李显不但平日被人监视，长安城里的特使还隔三差五的专程前去察看他的情形。两个哥哥惨死的情形让李显本来就整日里活得心惊肉跳。每当有使臣前来，他都以为他们是奉母亲之命来杀死自己的，心中无比恐怖。李显脆弱的精神简直无法支撑他去面见使臣，只要听说使臣来到的消息，他就几乎精神崩溃。