杜牧曾因仕途失意，长期飘泊南方，“倚遍江南寺寺楼”。其中云门寺在唐代高僧荟萃，佛教禅宗六祖惠能在曹溪说法，云门寺高僧善现住持曾事之。李白曾到此游览，并题有《游水西简郑明府》一诗。《念昔游三首》是杜牧在若干年后追忆那次游踪而写的组诗。

第一首诗的前两句，描写作者十年浪迹江南，不受拘束的生活。漫长的生涯中，诗人只突出了一个“自献自为酬”的场面。两个“自”字，把他那种自斟自饮，自得其乐，独往独来，不受拘束，飘然于绳检之外的神态勾画出来了。这神态貌似潇洒自得，实际上隐约地透露出不合时宜的愤世之感。
诗的后两句正面写到“念昔游”的“游”字上，但是并没有具体描写江南的景色。“秋山春雨”只是对江南景色一般的概括性的勾勒，然而爽朗的秋山和连绵的春雨也颇富于江南景致的特征。“春”、“秋”二字连用，同前面的“十载”相呼应，暗示出飘泊江南时日之久。诗人寄情山水，徜徉在旖旎风光之中，兴会所致，不免吟诗遣兴。写游踪又突出江南的寺院，正如作者在《江南春绝句》中所说的，“南朝四百八十寺，多少楼台烟雨中”，风光尤胜之故。“倚楼”关切吟诗。“倚遍江南寺寺楼”，并烘托出游历的地域之广，也即是时间之长，又回应开头“十载”。
诗人到处游山玩水，看来似乎悠然自在，内心却十分苦闷。这首忆昔诗，重点不在追述游历之地的景致，而是借此抒发内心的情绪。愈是把自己写得无忧无虑，无拘无束，而且是年复一年，无处不去，就愈显示出他的百无聊赖和无可奈何。诗中没有一处正面发泄牢骚，而又处处让读者感到有一股怨气，妙就妙在这“言外之意”或“弦外之音”上面。
第二首诗在《会稽掇英总集》中在《宿云门寺》。此诗记叙作者游云门寺的经历。不是云门寺外的猛雨，杜牧待不住，不会宿寺过夜的，大约在近侍郊宫的时候，也逢见过大雨，就联想到羽林军士又直又长又亮的矛枪。
第三首诗开门见山，提到李白在水西寺题诗一事。李白《游水西简郑明府》诗中云：“清湍鸣回溪，绿竹绕飞阁；凉风日潇洒，幽客时憩泊”，描写了这一山寺佳境。杜牧将此佳境凝炼为“古木回岩楼阁风”，正抓住了水西寺的特点：横跨两山的建筑，用阁道相连，四周皆是苍翠的古树、绿竹，凌空的楼阁之中，山风习习。多么美妙的风光！
李白一生坎坷蹭蹬，长期浪迹江湖，寄情山水。杜牧此时不但与李白的境遇相仿，而且心绪也有些相似。李白身临佳境曰“幽客时憩泊”；杜牧面对胜景曰“半醒半醉游三日”，都是想把政治上失意后的苦闷消释在可以令人忘忧的美景之中。三、四句合起来，可以看到这样的场面：在蒙蒙的雨雾中，山花盛开，红白相间，幽香扑鼻；似醉若醒的诗人，漫步在这一带有浓烈的自然野趣的景色之中，显得多么陶然自得。
此诗二、四两句写景既雄峻清爽，又纤丽典雅。诗人是完全沉醉在这如画的山景里了吗？还是借大自然的景致来荡涤自己胸中之块垒呢？也许两者都有，不必强解。