在大明寺的院子里，鉴真和荣睿、普照、道航等人围坐在一起商讨东渡的事，当时，没有朝廷的允许，是不能随便出国的，因此，鉴真叮嘱大家，东渡的事要悄悄进行，不能声张。
此时道航不慌不忙从身上掏出一封信，交给鉴真。这封信是当朝宰相李林甫的哥哥李林宗的信，信的内容大概是说李林宗要送粮食到明州（今浙江宁波一带)天台山国清寺去，原来道航是李林宗的家僧。鉴真看了这封信，呵呵笑道:“这封信很有用处，若有人问起东渡的事，就说是替李林宗家送粮食到天台山去的。”有了这封信的保护，鉴真等人便分头去准备船只、粮食和各种工具。没几天，扬州南门外的新河口，打造船只的工程便紧锣密鼓的进行起来，粮食和各类物资也源源不断地运往大明寺。
但是好事不巧，在鉴真的众多徒弟之中有个叫如海的，他由于听说海上航行非常危险，有可能会命丧大海，于是就打起了退堂鼓，同时他也担心师父鉴真会有危险，于是为了阻止鉴真等人的东渡，他来到江东采访使衙门，求见采访使班景倩大人，报告说:“有个从长安来的道航和尚，带了两个日本和尚，躲进大明寺，蛊惑僧众，马上要接应五百多名海盗到扬州城来抢劫。”班景倩听了不由大吃一惊，立刻带领差役们来到大明寺，除了鉴真之外，寺里的所有和尚都被带到了衙门问罪。当时，鉴真由于外出办事，所以逃过了此劫，当他回到大明寺，才得知刚才发生的事，于是他立刻来到采访使衙门要求求见班景倩，鉴真见到班景倩，把李林宗的书信交给班景倩看，并说:“我们是应李大人去天台山送粮食的，本想走陆路，因为要翻山越岭，搬运不便，所以就造船从水路去。”班景倩看了看书信，又听着鉴真的讲述，然后说:“那两个日本和尚是怎么回事?”鉴真答道:“他们是在中国留学的，这次来大明寺拜访，听说要去天台山国清寺，因此也想借此方便，去天台山。”班景倩听了鉴真的解释的，觉得没有什么可怀疑的，便转而训斥如海，说他无中生有，捏造事实，欺骗官府，重打了他六十军棍，勒令还俗，押送回乡了。于是班景倩放了大明寺的和尚，但是并没有同意鉴真他们通过水路去天台山，就这样第一次东渡失败了。
第一次东渡的风波平息后，在荣睿和普照的诚恳邀请下，鉴真决定再次东渡，这次鉴真拿出全部积蓄，买了一条旧的军用船，采办了必需的粮食、药材和文物书籍。另外还雇了十八名水手。
唐代从长江口到日本的航线有三条:一是北上山东半岛，渡渤海、黄海，沿朝鲜半岛西海岸南下，到达九州；二是向南经舟山群岛，然后一直东航；三是经黄海直抵日本奈良。鉴真等人东渡心切，选择了路程最短，危险最大的第三条航线。公元743年12月的一天，在扬州新河口，一条旧的军用船在水手的操纵下，驶进滚滚长江，然后顺流而下，驰向东海。一个月后，船到了桑石山附近的海面上（今浙江舟山群岛北面），但是，大海风云变幻，神奇莫测，本来好端端的天气，瞬间，乌云密布，狂风大啸，海浪翻滚，船触礁了，船体严重受创。鉴真和其他僧人们被迫离开船只，艰难地逃向一座小岛。鉴真等人在孤岛上渡过了三天三夜，最后，被过往的渔民发现，通报了官府，最后明州太守派官船把他们搭救出岛，就这样鉴真等人的第二次东渡又失败了。
