貞觀四年，唐太宗下詔重修洛陽宮乾陽殿，還親自去洛陽督察。張玄素覺得這樣做會使百姓怨恨，勞民傷財，于國不利。于是他大膽地上書勸諫，對唐太宗說：“臣以為秦始皇的歷史教訓總該汲取，因為他逆天行道，只傳到二世便滅亡了。天下不可以力勝，只有當務儉約，薄賦斂，以身先之，才能使天下安寧。陛下曾經見過洛陽的宮殿，那時你下命令拆毀它，天下百姓都異口同聲地稱贊你的做法。可是現在你又打算重修宮殿，這不是違背你先前說的話...