李白听说自己的好友元丹丘现已隐居当涂横望山石门。何不先去找找他？于是李白骑着一匹老马，由丹砂牵着，踽踽而行，来到了石门的陶公祠。元丹丘没有想到李白会在这里找到他。老朋友见面，相拥而泣。自安史之乱以来，他们有七八年不通音讯。元丹丘是个道士，又是单身，居无定所，四海为家。他隐居的地方有多处，如济源的王屋山、东鲁的蒙山、嵩山的颍阳山居、叶县的高凤石门等，如今北方正在战乱，他就跑到当涂横望山石门的陶公祠隐居起来。横望山石门原是南朝梁代道家上清正一派陶弘景的隐居炼丹之地，后人为了纪念他，在这里为他修建了陶公祠。元丹丘到这里隐居，有继承道教上清正一派道统之意。
元丹丘让道童拿出了他窖藏多年的纪氏老春，又邀了几个白发老道，众人边喝边谈，喝了个通宵。第二天就都醉倒在地，直到晚上才醒了过来。元丹丘说：我们都老了，酒也喝不动了，哪像当年在颍阳山居时，“会当一饮三百杯”，也不曾醉成这样。李白向元丹丘倾吐了多年的郁闷：他感到自己一事无成，反落了个“从璘附逆”的罪名，坐了大牢，还长流夜郎，要知道这可是仅次于死刑的重罪啊，他觉得这辈子活得很窝囊。元丹丘告诉他：你当了谪仙，做过翰林，能让力士脱靴，贵妃侍酒，龙巾试吐，便宜之事让你占尽，有什么窝囊的？你还有诗、有酒、有梦、有月亮，诗名遍及四海，还不满足吗？功名不如诗名，富贵不如美酒。人生就是追梦，有梦就有希望。你还弄个“谪仙”“酒仙”当当，我辈求仙学道，修炼了大半辈子，也没有混来个什么“仙”，你这些都轻易地到手了，还不满足吗？欹满则覆，水满则溢，你知足吧，老兄！李白听了元丹丘一番开导，有些醒悟，心中顿觉开朗，心气也顺多了。于是对元丹丘说：还是老弟修道有成，比我悟得透彻。元丹丘还告诉他：自己近来觉得气力不足，精神恍惚，怕也是大限快到了。荣华富贵如过眼烟云，生不带来，死带不去，如兄所言，我们都不过是宇宙的匆匆过客而已。
李白在横望山住了几天，见元丹丘也是一贫如洗，就将自己得来的程仪一半送与了元丹丘。临行前作了一首诗，权作告别之礼：
吴山高，越水清，
握手无言伤别情。
将欲辞君挂帆去，
离魂不散烟郊树。
此心郁怅谁能论，
有愧叨承国士恩。
云物共倾三月酒，
岁时同饯五侯门。
羡君素书常满案，
含丹照白霞色烂。
余尝学道穷冥筌，
梦中往往游仙山。
何当脱屣谢时去，
壶中别有日月天。
俯仰人间易凋朽，
钟峰五云在轩牖。
惜别愁窥玉女窗，
归来笑把洪崖手。
隐居寺，隐居山，
陶公炼液栖其间。
灵神闭气昔登攀，
恬然但觉心绪闲。
数人不知几甲子，
昨来犹带冰霜颜。
我离虽则岁物改，
如今了然识所在。
别君莫道不尽欢，
悬知乐客遥相待。
石门流水遍桃花，
我亦曾到秦人家。
不知何处得鸡豕，
就中仍见繁桑麻。
翛然远与世事间，
装鸾驾鹤又复远。
何必长从七贵游，
劳生徒聚万金产。
挹君去，长相思，
云游雨散从此辞。
欲知怅别心易苦，
向暮春风杨柳丝。
（《下途归石门旧居》）
此诗凡九段，每段一转韵。开头四句，写李白将与元丹丘告别，乘船而去，对老友恋恋不舍的情景。“此心”以下四句，回忆当年李白在翰林院被玄宗所宠之事，以及与元丹丘一起游五侯之门赴宴喝酒的得意情况。“羡君”以下六句，写李白与元丹丘游处之时，一心追求学道求仙，十分向往梦中的神仙世界。“俯仰”以下四句，写二人同在嵩山颍阳山庄隐居过，如今又在此地重逢，一起遥望于此不远的钟山云峰。“洪崖”是一位神仙之名，此处以比元丹丘。“隐居寺”以下六句，写横望山石门原是上清正一派祖师陶弘景的炼丹之处，这里是道家灵气所钟，是修道的好处所。在这里修行的人个个都是仙风道骨，长寿年高之人。“我离”以下四句说，李白以前来过这里，这次前来相访，虽有物是人非之感，但还是能够辨识出来的。虽说此次相见未能尽情，但可预见将来还会再相会的。“石门”以下四句，大夸横望山石门是世外桃源，不仅有流水桃花，还有鸡豖桑麻，实在是个好地方。“翛然”四句，写李白要驾鸾乘鹤远离世尘而去，何必与那些权贵相交往，视金钱富贵为至宝？意谓要不畏权势，不做金钱的奴隶。“挹君去”以下四句，谓如同云飞雨散一样，从此就要与老弟拜别了，也要与尘世告别了。如此怅别是很痛苦的，但是也没有办法，人生总有一别。但愿他们如同这暮春的杨柳丝一样，彼此长相思（丝）吧。李白的这首诗，是他向朋友告别，也是向人世告别的诀别书。他也预感到自己将不久于人世了。
宝应元年（762年）四月，玄宗和肃宗相继而死，太子李豫即位，是谓代宗。李白闻之大哭。一个是爱才善识的太平天子唐玄宗，对自己有知遇之恩；一个是心胸狭小而对自己屡加迫害的唐肃宗，都在一个月中先后去世。李白对他们的爱恨恩仇，从此一笔勾销。他虽知新皇帝上台，“天地再新法令宽”，但仍觉得“夜郎迁客带霜寒”（《江夏赠韦南陵冰》）。何况他现在已是年老身衰，快成无用之人了。谁还会再用他这个刑余之人呢。