元丹丘有点担心，“你是待诏，皇上随时召你入宫，出京去华山，可不是闹着玩的。”
“我这个待诏翰林越来越没用了，”李白说，“皇上现在基本不召我进宫，学士院里我也没事，想去哪里，我都可以去，不会有麻烦。”
李白说的是实际情况。自礼部侍郎人选由皇上圈定以后，玄宗再没召李白进宫。李白觉得反常，曾专门问过贺知章，贺知章不清楚其内幕，他又去问李适之。
李适之是以做官为本的人，他将朋友与自己政治圈子里的搭档严格地区分开来，对朋友他从不随便透露官场内幕。他只告诉李白，为李白谋取实职，他已尽了全力，无奈李白没有官运，怨不得别人。见李白不服，他又提醒李白，让他今后喝酒说话要看场合，以免墙外有耳，传到皇上那里，他的日子不会好过。
李白并不傻，听李适之这么说，心里已经明白了七八分。一气之下，他和朋友一起去了终南山。
给自己留面子，这些话，李白没和元丹丘说，他执意要与元丹丘一同去华山。元丹丘不得不答应。
在李白到来之前，玉真公主却已经离开了华山。
其实，此时再见不见到玉真公主，对李白的仕途已经没有多大助力了，李白已经在皇帝身边呆过了，也已经受到了李林甫、张垍、高力士等人的排挤，只要皇帝还是这个皇帝，皇帝的身边还是这帮人，李白已经没有希望了。
所以他不想回长安了，他想和元丹丘一起在华山修道。元丹丘留李白在山上住了十多天，等他的情绪平复之后，才劝他下山。
元丹丘说：“我看兄弟还是回长安的好。记得兄弟说过，你我是殊途同归。我以入道求仙为本，你却要以经世救国为己任，待成就了功名，再走出世之路。如今，兄弟虽步入朝廷，宏愿尚未实现，就此隐退，在我看来实在可惜。”
李白不回话。
元丹丘又说：“我虽是入道之人，却不认为只有入道，才能成仙为圣。世人只要求得一绝技，众所不及，便可以此绝技为圣，身后即可成仙。有道是：善围棋之无比者，谓之棋圣；善史书之绝时者，谓之书圣；善图画之过人者，谓之画圣；善刻削之尤者，谓之木圣。我的话说得直，兄弟不要见怪，我一直认为，兄弟的成仙为圣之路，不在道门，而在世俗社会。你想想看，是不是这个道理。想通了，还是下山去吧。”
元丹丘以大法师、老道长的口气说了这段话，真的说动了李白。他答应独自返回长安。
兄弟离别，李白为元丹丘作诗一首，《西岳云台歌送丹丘子》，算是他送给元丹丘的去朝留念。这首诗写得很有神仙气。诗曰：
西岳峥嵘何壮哉，黄河如丝天际来。
黄河万里触山动，盘涡毂转秦地雷。
荣光休气纷五彩，千年一清圣人在。
巨灵咆哮擘两山，洪波喷流射东海。
三峰却立如欲摧，翠崖丹谷高掌开。
白帝金精运元气，石作莲花云作台。
云台阁道连窈冥，中有不死丹丘生。
明星玉女备洒扫，麻姑搔背指爪轻。
我皇手把天地户，丹丘谈天与天语。
九重出入生光辉，东求蓬莱复西归。
玉浆傥惠故人饮，骑二茅龙上天飞。