天宝十三载（754年）秋，李白离开宣城到了扬州，在扬州大明寺住下。寺中主持告诉他，大明寺原来的主持鉴真和尚已于天宝十二载（753年）十一月十五日，随日本的遣唐大使藤原清河等登上日本使船，经过四十天的海上颠簸，成功地到达日本奈良，从此开始了他在日本的传经和中日文化的交流生涯。而同时东渡的还有晁衡（日名阿倍仲麻吕），当时同发四船，晁衡与藤原清河同坐一条船，在海上遇到了风暴，晁衡之船据说遇难。晁衡，也作朝衡，据日本学者考证晁衡的事迹，日人长勋《阿倍仲麻吕及其时代》、杉直次郎《安南与朝衡》等文可知，晁衡于日本灵龟二年（716年）选为遣唐学生，时年十九，开元五年（717年）随遣唐使五百十七人，乘船四艘来到中国，此为日本遣唐使之第九次赴大唐。晁衡入京师，学于太学，与公卿贵游子弟比席受业。后留中国考上进士，先后授官司经局校书、左拾遗、左补阙、仪王友。天宝十二载任秘书监，兼卫尉卿。是年日本遣唐使藤原清河，副大使大伴古麻吕、吉备真备等复抵长安，玄宗召见晁衡、藤原清河，礼遇甚优。晁衡请同返日本，玄宗因命为使。时晁衡年五十六，自长安南过扬州，十月十五日访名僧鉴真于延光寺，邀同东渡。四船同发苏州，晁衡与大使藤原同一船，十二月六日至琉球，遇风与他舟相失。漂至安南欢州沿岸，遇盗，同舟死百七十余人，独晁衡与藤原辗转归长安，时为天宝十四载（755年）六月。此后经安史之乱，晁衡亦从玄宗肃宗避难。至上元中，受任为左散骑常侍、镇南都护。大历初罢归长安，五年正月卒，年七十三。李白在长安时即与晁衡相识。天宝十二载（753年）晁衡与长安相知告别回国，时有王维、赵骅、储光羲均作有诗相送。天宝十三载（754年）李白到扬州时，初闻晁衡已死于海上，十分伤心，故作《哭晁卿衡》诗以吊之：
日本晁卿辞帝都，
征帆一片绕蓬壶。
明月不归沉碧海，
白云愁色满苍梧。
此诗特意点明“日本晁卿”，以指明晁衡是日本友人。卿是对晁衡的尊称，他本来是从日本来中国学习中华文化的，而且他学得相当好，后来不但担任秘书监，即管理国家图书要籍的长官这样的文化要职，而且还会写一手像模像样的汉诗。如《衔命还国作》：“衔命将辞国，非才忝侍臣。天中恋明主，海外忆慈亲。伏奏违金阙，?骖去玉津。蓬莱乡路远，若木故园林。西望怀恩日，东归感义辰。平生一宝剑，留赠结交人。”
李白这首绝句，前二句写其船东归日本。“蓬壶”本指海上仙山，此指日本。第三句“明月”二字，是指海中出产的大珠，曰明月珠，此喻指晁衡如明月之珠，“沉碧海”，指其沉入碧海，不幸溺海而亡。末句是化用了一个典故，苍梧是指东海中一仙山。王琦说：“《水经注》：东北海中有大洲，谓之郁州。《山海经》所谓‘郁山在海中’者也。言是山自苍梧徙此，云山上犹有南方草木。”此句是以白云愁色笼罩大海，来抒发李白对传闻晁衡溺死于海的悲痛心情。日人近藤元粹说：“是闻安倍仲麻吕覆没讹传时之诗也，而诗词绝调，惨然之情，溢于楮表。”（《李太白诗醇》卷五）至于晁衡与藤原清河回到长安，是天宝十四载（755年）以后的事，李白在遥远的江东，可能还不知道他们还能活着回长安之事。