李白终被以“从璘附逆”的罪名流放夜郎，时间是三年。李白怎么也没有想到，他不但没有被朝廷任作朝官，“以光朝列”，反而以附逆之罪，被贬流放到在唐人眼中看来是荒无人烟的夜郎（在今贵州桐梓北，一说在今正安西北）边城。宗氏夫人和宗璟送他到江岸，哭得天昏地暗，最后也只得洒泪而别。在李白的眼中，自己还不如江边的向日葵，因为向日葵还能用自己的叶子来护卫自己的根，而自己却被连根拔掉，远移他方，连一点护卫自己的能力都没有。
李白的小船在解差的押解下，逆江而上。船至江夏时，遇到从京师贬来的史郎中，二人同病相怜，一起在黄鹤楼上饮酒听笛。李白顿起迁谪之情，作《与史郎中钦听黄鹤楼上吹笛》诗记之：
一为迁客去长沙，
西望长安不见家。
黄鹤楼中吹玉笛，
江城五月落梅花。
随后，李白又在汉阳遇到了老友尚书郎张谓出使夏口，在沔州太守杜公和汉阳宰王公的陪同下，一起游了汉阳城南的南湖。是夜湖中水月如练，张谓对这里的湖光山色十分欣赏，对李白说：“古往今来，此湖佳景，不知招得了多少文人骚客的青睐，可是此湖连个名字也没有，真是太可惜了，你可给起个好名字，也好传之不朽。”李白看张谓如此喜爱此湖，便以张谓的官名命此湖曰“郎官湖”，席上的人一致称好。汉阳宰王公对李白十分仰慕，特别留他在汉阳逗留了几日，一同游了鹦鹉洲等名胜，才恋恋不舍地送李白西行。
船至荆门山（在今湖北宜昌西），从此向西，江道变窄。此时已是初秋时分，两岸树木萧瑟。李白至此感慨万千。当年他初出蜀时，乘船至此，感到天地突然宽阔开朗，心中有说不出的新奇和高兴。如今他越往西走，越觉得心灰意冷。三十多年了，他的心境、年龄都发生了巨大的变化。那春花初放的年纪，那瑰丽如梦的理想，如今都成了过眼烟云。
李白的小船继续逆江而行，前面就是三峡中的黄牛峡。两岸高山对峙，绝壁临江，向上看只见一线青天。江流变得又急又猛，船家无法撑船逆流而上，只得沿着陡峭的栈道拉纤。那条栈道是从峭立的石壁上凿出来的，纤夫们拉着船，艰难地向上游前进。
黄牛峡上，只见高岩上有石如人，负刀牵牛，人黑牛黄。
逆水拉船，船行非常缓慢，栈道上的纤夫发出哼唷哼唷的声音。江上的船夫唱起了巴蜀民歌，那歌声高亢中带有凄凉，宛转中含有悲哀：
朝发黄牛哟，暮宿黄牛呃。
三朝三暮哟，黄牛如故呃。
……
听着这熟悉而又怆楚的歌声，李白的心情也变得沉重起来。他站在船头眼望着头上的一线青天，再看着眼前光着上身拉纤的船夫，捻须吟道：
巫山夹青天，巴水流若兹。
巴水忽可尽，青天无到时。
三朝上黄牛，三暮行太迟。
三朝又三暮，不觉鬓成丝。
（《上三峡》）
船在逆水中艰难地向前行进，巫山神女峰遥遥在望，李白心潮起伏，他回忆起当年初入三峡的情景：
那是草长莺飞、桃花流水的春天，李白怀着“已将书剑许明时”的雄心壮志，屹立在船头上。他初次见到巫山心中兴奋的心情，直到如今还记忆犹新：
昨夜巫山下，猿声梦里长。
桃花飞绿水，三月下瞿塘。
雨色风吹去，南行拂楚王。
高丘怀宋玉，访古一沾裳。
（《宿巫山下》）
眼看着离家乡越来越近，李白的心一阵紧似一阵。他看了看身上所穿的囚衣和身旁的枷锁镣铐，越想越不是滋味，不禁感叹：“这叫我如何去面对蜀中的亲友，那企盼我高头大马衣锦而归的父老乡亲哪？”泪水在李白的脸上潸然而下。
船至夔州（今重庆奉节），李白与两个解差下船，王仁要到县衙办公事，赵义则陪着李白登上了白帝城。
白帝城（在今重庆奉节县东）上的诸葛庙依然如昔，没有大的变化，可是，李白此次的心情与以前初游此地时却大不相同。诸葛亮的塑像依然端坐在祠堂中，只是庙中的香火比以前萧条多了，来上香的人寥寥无几。李白恭敬地在诸葛亮像前上了三炷香，拜了又拜。面对这位一生景仰的先贤，他感慨万千地说：“诸葛先生，想你我都有一样的匡君之志，绝世之才。可你却拯汉室于危亡之际，延汉祚五十余年。功高一世，名满天下，万代景仰。可我几十年浪迹天涯，仗剑去国，几度沉浮。如今却披枷戴锁，远流蛮荒。真是愧对先贤……”
诸葛亮身穿鹤氅，头戴纶巾，手执羽扇，端坐在上方，两眼微眯着，好像是在望着他。诸葛亮仿佛在含笑问他：“李白，古之君子事君有三种：上者以师，中者以友，下者以奴才。你做到了哪一种呢？”
李白恭敬地拱手：“诸葛先生，李白我没有做奴才！但是惭愧，我也没有能做成帝王的朋友，更没有能成帝王师，我成了帝王的囚犯！”
诸葛亮仿佛点了点头：“你李白能自重自爱，不做奴才，翘然独立，在当今之世，也算不错了！”
李白上前一步，大声地道：“不！孔明先生，我李白有王佐之才，大鹏之志，于国家危难、百姓涂炭之际，不能如先生为帝王师，成就王霸之业，反倒披枷戴锁，远流蛮荒，我有何面目立于天地之间啊？先生，我错在哪里呀？”诸葛亮又化成木然泥像，没有回答……
扶着门框的李白，缓缓地滑下来，跪在像前喃喃地道：“孔明先生，我错在哪里？我错在哪里呀？”
天色已晚，李白站在观星亭上，望着夕阳下的群山，耳边不时传来阵阵哀伤的猿啼。
李白望着西方暮霭中的层峦叠嶂，心潮起伏：那远在天边的云山，不就是我家乡的大匡山吗？我那年迈的爹娘，你们的身体可好？儿子不能给您尽孝，争得封赠的荣誉，反而给您二老增添辱羞，有累门声。我那月圆小妹，为兄答应你高车驷马迎你出蜀一游的许诺也未能实现，实在是对不起你呀。
这时天色渐暗，西方的太白星在天空中闪烁，李白望着这颗他的命星自言自语道：太白星啊太白星，难道我真是你的人间转世？莫非我真是个谪仙人被贬下凡，来人间受罚的？为什么我的命运这么坎坷多舛？难道这真是天命吗？
太白星在夜空中眨着眼，没有回答……
第二天，奉节县令领着差役来到了白帝城。见了李白，向李白念诏书：“《以春令减降囚徒敕》：其天下见禁囚徒，死罪从流。流罪以下，一切放免！”
李白颤巍巍地接过诏书，看着，叨念着：“流罪以下，一切放免……我遇赦啦？无罪啦！”他抬眼望着东方：“夫人啊，夫人，知道吗？我无罪了，我赦免啦！”他流着泪，突然举起敕诏，回身向西：“父亲、母亲、月圆！我被赦免啦！”他奔向武侯祠：“孔明先生，我被赦免啦！”他奔向最高处向着群山叫：“我无罪了！我被赦免了！”
三峡的山谷中在回荡：无罪……无罪……赦免……赦免……
奉节县令想请李白回县衙住几天，为他接风洗尘，被李白婉言谢绝了，他要回家。他从身上脱下犯人的囚服，投入了大江。
乾元二年（759年）三月，李白获得赦免，便立即乘一叶小舟在三峡中顺流而下。阳光照耀着江水，闪闪发光；两岸的猿猴，三五成群地出现在三峡岸边的树林里，像欢呼似的发出啼叫。
小船在江心中愉快地颠簸着，李白站在船头，昂首迎风。两岸的山峰像跑马似的向身后奔跑。船在江中快如飞箭，船头激起雪白的浪花。
李白站在船头愉快地唱起了巴蜀小调：
朝辞白帝彩云间，
千里江陵一日还。
两岸猿声啼不尽，
轻舟已过万重山。[1]
歌声中，小船离白帝城越来越远，轻快地驶过巫山神女峰，掠过秭归屈原祠，穿过明月峡、黄牛峡和西陵峡，向江陵飘去。