太宗皇帝有一次出行，有一個官員請示要將書籍、公文的副本裝到車上帶著。皇帝說："有虞世南在，就是此行的秘書。"太宗皇帝稱虞世南博文多見、品質高尚、讀書廣博、詞彙豐富、忠誠正直，一個人具備五種長處。太宗皇帝聽說虞世南死了，傷心地哭著說："宮裡藏書和著書之處，再也沒有人能比得上虞世南了！"虞世南當秘書期間，在省後堂將群書中可以在今後寫文章時引用的重要事物摘錄編纂在一起，叫作《北堂書抄》。如今省後堂還在，《北堂書抄》也流行於世。