“一骑红尘妃子笑，无人知是荔枝来。”晚唐诗人杜牧的《过华清宫绝句三首》，让世人皆知杨玉环爱吃荔枝。相传，为了让杨贵妃吃上鲜甜的荔枝，在巴中平昌一带还发生过一起“偷梁换柱”的把戏。
据传，唐玄宗时期，杨贵妃吃荔枝成癖，每年荔枝成熟的季节，岭南一带的官员，必须派人从官驿不舍昼夜地往长安派送荔枝。但岭南距离长安，千里之遥，古代保鲜技术又欠佳。到达时，若发现荔枝坏掉，必有严惩，所以运送荔枝成了产地官民发愁的事。于是，他们想到一招，把岭南一带的荔枝树苗带回四川，试种在今合川、平昌江口镇杨柳村（小宁城）一带。5年后，移栽到小宁城附近的荔枝树竟然真的开花结果了，产出的荔枝，丝毫不逊色于岭南的荔枝。
次年，地方官员将合川和小宁城采摘的荔枝一并上贡。杨贵妃食后，连声叫绝，重赏了内侍和地方官。
后来，发生“安史之乱”，杨贵妃被赐死。唐玄宗回到长安后，不再向地方索要荔枝。这种娇贵的水果，当时的老百姓也吃不起，待树木老去，荔枝也渐渐成了人们的记忆，只是荔枝乡（旧称“荔枝溪”）的地名沿用至今。
传说的真实性已不可考，但巴中确有3条古蜀道，其中一条就是荔枝道。这条古道从重庆市涪陵区出发，经达州、巴中一带，入陕西境内，最终到达西安。