倪瓒早年丧父，靠兄长抚养（其兄是道教上层人物，在元代，道教地位高，有特权）长大。富裕的家境，优渥的生活并没有让倪瓒染上纨绔气，学识、修养却抓的颇紧。倪瓒家中有藏书楼，经史子集，书帖名画难以计数，瓒经日浸润其中，饱读诗书，赏析临摹，年轻时倪瓒就享有文名。受道家影响，瓒一生不仕，同时也养成了其不问世事、不事生产、洁身自好、清高孤傲的秉性，甚至有些神經质。

倪瓒好洁净，一生奇闻轶事颇多，从生理到精神的洁癖，似乎都在印证着他与当时社会的格格不入。瓒每日要洗好几遍衣服，整日须开窗通风，房前屋后的树木也要经常擦拭。