《宋史》与地方志所记载的一件事是关系林灵素被乏极为重要的信息。史载：“宣和初，都城暴水，遣灵素厌胜，方率其徒步虚城上，役夫争举梃将击之，走而重。帝知众所怨，始不乐。”明嘉靖《永嘉县志》载：“后因大水临城，上疏言，国难将至，请迁都避之。”

这话给蔡奸臣抓住了把柄，“嗾全台劾其妖言惑听”。林灵素见此情形，就辞职回到温州天庆观修道炼丹了。

这可见林灵素不仅不是如《宋史》所说这般无赖，根本没有与当国奸臣们沆瀣的，而且还有先知预言的本事。若果真能迁都避之的话，宋朝的历史就要重新写了。他死后8年的1127年，北宋就灭了。

而林道士与蔡京的斗争并不这么简单，这道士确有道行，前后好几个回合，胜多负少。

政和间，徽宗依林灵素所言，命天下皆建神霄万寿宫，开神霄录坛。京城神霄宫建成后，徽宗率蔡京和群臣庆贺。早斋罢，徽宗引百官游观，忽吟得上联：宣德五门来万国。蔡京等沉思无以答。徽宗问林灵素：“师能对否”

林应声而答：“神霄一府总诸天。”

徽宗大喜，遂令林灵素修正一黄录青醮科仪，编排三界圣位，校正丹经子书。“每月初七日升座，洎亲王内贵、文武百官皆集，听讲三洞道经。或御驾亲临，亦于座下。”这下就出尽风头，使蔡京辈失尽面子。

徽宗对他的宠信越来越深，他的权势日益嚣张，从而导致与当朝重臣蔡京等人的对立。赵与时《林灵素传》载：“京师大旱，命灵素祈雨，未应，蔡京奏其妄”。请上治罪。可见蔡京已与他发生正面冲突。对此，林灵素也不是任人宰割的羔羊，就来个反奏童贯、蔡京等奸臣，是“飞天大鬼母”、“北都六洞魔王第二洞大鬼头”转世祸国，劝请徽宗斩决。他说：“愿陛下知丙午之乱，奉大道，去华饰，任忠良，灭奸党，修德行，诛童、蔡，此祸可免，他时玉府再会天颜，不然则大祸将临。”其后，林灵素又多次假神真降言，警告徽宗：“幸速避地，勿尚奢华，当出圣断，毋听奸邪所败。”从此可见，他也是能尽忠言直谏的良臣。