对苏东坡来说，除了仕人文人和劳民，世上还有第三种人，就是那些谈佛谈玄之人、世外隐士和各种高人。这第三种人一直强烈地吸引了他。他要深入的不仅仅是他们的日常生活和生存方式，而是通过这些进行一次次心灵上的全面求证。他要借他们设问一些根本性的问题：人为何而来为何而去、生存之意义和结果，以及途径。在他留下的文字和一些有关记录中，这样的相逢相处的场景简直太多了。比如他随手写下的《三朵花并叙》，记录的就是房州的一位通判告诉他的一个故事。这里说的是房州这个地方有一位异人，常戴三朵花，所以落下了这个外号。此人既能作诗，且所有诗句皆有神仙意境，令人向往，苏东坡专门为此异闻作诗一首。他记下的类似故事还有“偶至野人汪氏之居”：因有神灵降在室内，使这个大字不识的“野人”竟能够提笔书写篆字，笔法特异，也同样能写诗。在黄州的时候，苏东坡还深入探究以船为家的“鱼蛮子”，对这些漂流而居的人十分好奇。从记载中可见，诗人对这一类事情一生着迷，每有听闻便前去探访。其实这正反映出苏东坡某种特殊的心结，表现出他心底的浓兴。说到底，他自己就是一个隐藏于官场的“第三种人”。

这种嗜好与倾心，极有可能源于少年时代的上山学道，一度曾立志学玄。他一生都与道士和尚有着很深的交谊，在贬谪之地，也常有千里迢迢赶来探望的道人和僧人。奇怪的是，他虽喜欢谈禅论道，却不能信守清规。他在《中和胜相院记》里说，多如牛毛的戒条都是“为愚夫未达者设”，“若我何用是为”，而且对和尚的“荒唐之说”做过研究，认为常常“不可知”“不可捕捉”，故意与之争辩“辄反复折困之”，令其“往往面颈发赤”。