李商隐回到长安，把从调的手续递交给了吏部后，抓紧赶回泾源，和分别已久的妻子团聚。此时李德裕已经被召回朝出任宰相，不久王茂元也被召回朝廷任职。这样，王茂元的幕府随之解散，不能安排李商隐的职务了，有了之前的流言蜚语，李商隐也不想再倚靠岳丈。
春暖花开，李商隐想到恩师令狐楚的服丧期将满，七哥八哥应该也要重新出任朝官了。李商隐想借助这个机会去看望一下令狐兄弟，争取把之前的误会也消除掉。
令狐兄弟对李商隐的到来很是安慰，态度比以前好了很多，大家都没有再提之前考试的事情，只是把最近的情况诉说了一番。最后令狐兄弟建议李商隐可以去潭州找一找杨嗣复，此人虽已遭贬，但做过宰相，现在仍然是以检校吏部尚书衔出任潭州刺史，同时兼任湖南观察史，他对令狐楚特别尊重，与令狐兄弟关系也很好，刚到潭州，应该急需人才。
李商隐想了想，既然吏部的调令暂时不能下了，那就听从令狐兄弟的建议，自己去一趟，即使不成，也可以到江南湘潭一带游历一番。
出汉水、走长江、入湘江，李商隐一路乘船而来。仲夏刚过，江南依然还有盛夏的味道，看着涛涛的湘江水，李商隐想到了屈原和楚国的兴衰成败，随即吟出这首《楚宫》：
湘江如泪色一般又清又深，屈原的冤魂随浪而去，他的怨恨永无绝期。夜晚的枫树林中猿啼使人愁断肠，唯有穿着萝带的山鬼相邀。埋在土里，身形腐败，魂魄难以招回，更不用说是葬身鱼腹了。只要楚人还在，谁会可惜那喂食蛟龙彩丝包的食物？
一个月左右的时间，李商隐到达潭州（今湖南长沙）杨嗣复的府衙。杨嗣复很热情地招待了商隐，李商隐也发现杨嗣复这一中老了许多，神情憔悴，面色苍白。
杨嗣复在官场多年，非常清楚自己在拥立新君方面下错了赌注，自己的政治生命已到了终点，武宗皇帝不要他的命就已经是宽大处理了，想要东山再起已经没有可能了。此时的杨嗣复非常理解李商隐的遭遇和心情，。挽留李商隐暂住在官舍中，等招募幕府时，一定给李商隐安排一个职位。
造物弄人。两周后的一天中午，突然传来一道圣旨。杨嗣复接到朝廷来的圣旨，贬杨嗣复为潮州刺史，限期起程。眼看杨嗣复已是自身难保，也不能再安排李商隐的职务了。两人依依惜别。杨嗣复一走，李商隐更觉得形单影只，寂寞难耐。
潭州是个历史悠久的地方，这里曾发生过许多凄艳悲壮的故事，也曾留下过许多古今传诵的佳话。当年虞舜南巡，舜的两个妃子追寻至此，听说舜已死，便投湘水自尽；战国时的爱国诗人屈原也曾被流放此地，创作过许多哀怨的诗歌，借美人芳草咏叹其抱负理想，成为千古绝唱；西汉初年才子贾谊曾被贬至此，对东晋曾有赫赫战功的陶侃也曾率军在这里大显神威，被封为长沙郡公。
李商隐千里迢迢来到这里，本想谋个一官半职，可谁想最后只剩自己一人，流浪他乡，举目无亲，遥望着苍茫暮色，李商隐满心凄苦，随即低声吟出这首《潭州》：
潭州：唐代为湖南观察使治所，在今湖南长沙市。
无端：没来由地。
湘泪：传说舜南巡，死于苍梧之野。他的两个妃子哭舜，泪滴竹上，遂生斑点，所以称湘妃竹。
楚歌：指屈原的《离骚》、《九歌》、《九章》等。
陶公：指东晋陶侃，其墓在今湘潭。陶侃曾作江夏太守，抗击叛将陈恢，以运船为战舰，所向必破。后又讨杜搜、平苏峻，封长沙郡公。
贾傅：指贾谊，曾为长沙王太傅。长沙有贾谊庙，庙即贾谊宅。承尘：天花板。
白话译文
当黄昏的余晖笼罩着潭州，信步登上官舍的空楼。眼前的景色触动情怀，古今多少事齐集眼下，涌上心头。高高的九嶷山上有故君的墓丘，滋润竹色的泪痕记录着心中的哀愁。屈原在楚歌中展现着美丑，他为兰花的芳心易改痛心疾首。
当年陶侃的战舰摧枯拉朽，如今荒弃的沙滩只有雨声依旧。贾谊的破庙年久失修，呜呜的风声诉说着其中的缘由。我在故园久久地等候，看不见应约前来的老友。准备了潭州特产松醪名酒，谁与我开怀畅饮一醉方休？
行到水穷处，坐看云起时。