張玄素的一席話， 深深地刺痛了李世民。 李世民無論如何也沒想到， 自己作為唐朝實際上的開國之君， 居然在張玄素口中如此不堪。
李世民想過懲罰張玄素， 但也僅僅只停留在思想上， 一瞬間而已。 無緣無故懲罰張玄素， 非但不能洗刷“恥辱”， 反而會讓自己真成為張玄素口中的人， 千夫所指。
張玄素在民間頗有賢名。 他是蒲州虞鄉（今山西永濟）人， 早在隋末， 就以清廉聞名遐邇。 張玄素擔任景城戶曹時， 竇建德攻破景城， 決定處死張玄素。 在竇建德看來， 在亂世中殺區區一隋朝戶曹， 和殺一只雞沒什么區別。
竇建德大吃一驚， 他原以為張玄素也是一般貪官污吏， 這才毫不猶豫痛下殺手， 沒想到他竟是深受百姓愛戴的清官。 這無疑讓竇建德對張玄素刮目相看， 生出幾分敬意， 于是赦免其罪， 并任命他為治書侍御史、黃門侍郎。
竇建德敗亡后， 張玄素投奔唐朝， 任景城都督錄事參軍。 李世民登基， 仰慕張玄素的清名， 召他相見。 那時， 隋朝早已滅亡， 李世民為吸取隋亡的教訓， 于是向張玄素詢問治國之道。 張玄素一語驚人， 他說：“隋朝滅亡的一個重要原因， 在于君主獨攬政務。 君主不論多圣明， 總會有錯誤， 如果事事獨斷專行， 錯誤就會越積越多，
張玄素沒有站在君主個人的道德素質上思考問題， 而是站在權力分配的角度上思考， 倘若皇帝沒有乾綱獨攬， 就無法憑一己之喜好左右天下， 即使他個人的道德素質欠佳， 大臣們也可以糾正他的錯誤， 王朝就不至于太壞。 反之， 如果皇帝乾綱獨攬， 即使他天縱圣明， 但不可能永遠正確， 大臣又沒有糾正他錯誤的權力， 任由錯誤發展， 日積月累， 就會到不可收拾的地步。
道理說來也不難懂， 可某些皇帝“權迷心竅”， 始終不明白。 比如康熙， 他曾說過， 皇帝就應該事必躬親， 獨攬政務。 乾隆更是語不驚人死不休：獨攬乾綱是本朝家法！但值得慶幸的是， 李世民顯然并不贊同這樣的說法，
貞觀四年， 李世民計劃修建洛陽宮。 張玄素得知， 連忙勸諫， 他說：“阿房成， 秦人散；章華就， 楚眾離；及乾陽畢功， 隋人解體。 大亂之后， 民生凋敝， 如果大興土木， 連隋煬帝也不如！因為隋煬帝大興土木也是在盛世。 ”
隋煬帝是亡國之君， 李世民是創業之主， 張玄素居然批判他連隋煬帝也不如， 李世民卻沒有勃然大怒， 反而覺得很好笑：“卿說我連隋煬帝也不如， 那我難道和桀紂一樣壞？”
張玄素梗著脖子說：“是！如果陛下聞過不改， 就會成為桀紂！”
李世民長嘆一聲， 良久， 說了9個字：“吾思之不熟， 乃至于是！”意思是說， 我思考問題不成熟， 竟然到了這等地步！顯然， 他決定聽從張玄素的建議。
很快， 李世民就下詔停修洛陽宮 ， 他說：“張玄素說的很有道理， 大亂之后， 確實不該如此大興土木。 為了百姓， 如果將來有事到洛陽， 我就算露居也認了（今玄素所言誠有理， 宜即為之罷役。 后日或以事至洛陽， 雖露居亦無傷也）！”說罷， 又賞了張玄素彩帛二百匹， 表彰他進諫忠言。