韋執誼和凌準最悲慘，死于貶所。唐憲宗元和元年（806年）冬，凌準卒。柳宗元在悼念凌準的《哭連州凌員外司馬》詩中回憶當時的情景說：“孝文留弓劍，中外方危疑。抗聲促遺詔，定命由陳詞。”
柳宗元、陳諫、韓曄稍好一點，熬到元和十年被召回京師，又安排到邊遠州做刺史，死于任上。
韓泰和劉禹錫熬過的年頭更久，憲宗死后，終于獲得量移或者升遷。
唯一幸運的是程異，他因為理財能力卓越，在鹽鐵使李巽舉薦下很快回朝任職，元和末年官至宰相。
柳子在永州的職務全銜是“永州司馬員外置同正員”。永州是中州，司馬的官位六品上。“員外置”就是編制之外的人員，也就是個“閑員”，只領薪俸不干事也不管事的人。
與初貶邵州相比，邵州雖然是個下州，但刺史的官位正四品下，柳子由從六品上的禮部員外郎外放為遠州刺史，官位升了一點，只能說是被斥出朝，還不是完全的流貶。而到永州為司馬，官位不僅沒有升，而且沒有安排實職，就連一點干事的權力都被取消，這是扎扎實實的貶黜。
永州古為零陵。零陵是中國上古時代最早出現的三十四處古地名之一，得名源自舜帝。
漢武帝元鼎六年（前111年），置零陵郡，下轄七個縣和四個縣級侯國。隋文帝開皇九年（589年）對地方行政區域的設置進行調整，將原來的州、郡、縣三級改為州、縣兩級，后又改為郡、縣兩級，以加強中央政權對地方的直接統治。在這一調整過程中，零陵郡因西南有“永山永水“，故改郡為永州，設總管府。從此，永州、零陵一地兩名。
隋煬帝大業三年（607年），永州總管府復稱零陵郡。當時的永州總管府所管轄的范圍，與今日的永州市大體相當，另外還包括了今天的廣西境內的全州、資源、灌陽的一部分。
唐代，零陵郡分為永州零陵郡和道州江華郡。唐代的歷任皇帝從高祖到高宗、玄宗、肅宗，似乎都有變動行政區劃和域名的嗜好，永州、零陵兩地名就曾一度交替使用，但到肅宗的時候已經州郡并提，永州全稱為永州零陵郡。這個時候的永州轄四縣，零陵、祁陽、湘源、灌陽。道州轄五縣，宏道、延唐、江華、永明、大歷。
柳宗元被貶后所來到的永州，是一個開發較早、并有著豐厚文化底蘊的地方。在今日永州境內的道縣玉蟾巖就有上萬年以前人類啟蒙階段刀耕火種的農業文明最早的遺跡。
柳宗元來到的永州是南方濕熱氣候，與以往京城的生活環境當然迥異，何況還是戴罪之身的閑官身份，置于一隅形同流放，內心的苦悶更甚于外在的不適。
在永州期間，柳宗元的家庭發生了很大的變故。他的父親柳鎮早在長安故世。妻子楊氏也于婚后三年病故。因而，隨同他一道前來永州的有年近七旬的老母，以及母親的侄子、他的表弟盧遵，堂弟柳宗直。這兩位青年人都就學于柳宗元，跟隨其流貶于永州一直沒有離去。
母親盧氏深明大義，十分通達。丈夫柳鎮過早地離她而去，兩個女兒在長安分別嫁到崔家、裴家已先后亡故，她只能與獨子相依為命，母子感情十分深摯。盧氏對柳子的事業非常理解與支持。柳子獲罪遭貶，她態度十分豁達，極為體諒，并與兒子一道來到永州。
元和元年五月十五日，盧氏卒于永州零陵的龍興寺。河東柳氏為世家大族，這樣的官宦人家，喪事不可能隨便處理，葉落歸根，盧氏最終歸葬京兆，與柳宗元的父親柳鎮葬在一處。
柳宗元左遷永州司馬，還被剝奪了當時官員的一項重要權利：丁憂。
歷朝歷代以孝治國，官員父母過世，必定丁憂二十七個月，這期間除特殊情況之外，不得出任官職。丁憂可以視為官僚階層的特權。
盧氏卒后，柳宗元既未按慣例丁憂三年，也沒有扶靈柩回到京兆，而是將葬事委托給親戚來辦，因為他尚在“服罪”期間，沒有資格丁憂，也不能因此離開貶所。
凌準貶官連州司馬期間，母親病逝，他同樣未能回家送終，隨后自己也郁郁而終。
柳宗元撰寫的《先太夫人河東縣太君歸祔志》，呼號慘酷、極為自責，他自覺未能盡孝是一方面，感受到左遷這一責罰帶來的嚴重后果，卻無法宣之于口，無異于“名教罪人”，則是背后的又一層原因。
貶官期間不能丁憂、不能休、退以及請假，不能離開原地，說明這是一種變相的監禁，同時也有人格上的羞辱成分在內，只是比監禁自由度稍大，可以在貶所四處悠游。
司馬員外置同正員這個特殊的職位，保留了一定的政治待遇，較之“除名”要輕一些，但相應地剝奪了人生自由權，等于一種變相的禁錮。
這種左遷官的處置方式大約始于玄宗時，一直延續到唐代后期，那些貶謫為州司馬的，境遇大多如此。白居易“江州司馬青衫濕”，所哭為何？名為貶官，實為監禁，換了誰都會淚灑青衫的。
真是造化弄人！柳宗元困居永州十年，留下了大量的文章詩作，無意間催生了一位唐宋八大家。
元和三年（808年），柳宗元模仿屈賦寫了一篇《懲咎賦》，對自己平生做了一番反思。雖然名為“懲咎”，但其實是對自己從事的事業進行辯護，抒發自己的不平之氣。
元和五年（810年），柳宗元被貶至永州已有五年之久。
柳宗元是個編制外的閑員，沒有官舍。他在永州先后有兩處居所。剛到永州時，他與母親盧氏、從弟柳宗直、表弟盧遵，一同寄寓龍興寺。此寺在永州面臨瀟水的太平門內的千秋嶺下，是木制結構的建筑，很容易發生火災。柳宗元“五年之間，四為大火所迫”。
元和四年，柳宗元在法華寺構西亭。但這不是真正意義上的寓所。法華寺在永州城內東山，又稱高山。
元和五年，柳宗元在冉溪附近買了塊地，在溪水東南筑屋居住。遷居到愚溪之后，柳宗元才暫且放下胸中塊壘，真正移情于自然山水，墾植榴桔，栽種竹柳，過起永州平民百姓的農家生活。
他將冉溪改名為愚溪，將其東北小泉改為愚泉，溪附近的丘、泉、溝、池、堂、亭、島等，都被命名為愚丘、愚泉、愚溝、愚池、愚堂、愚亭、愚島。
他還作了《八愚詩》，紀于溪石上。只可惜，溪石上的詩詞也和柳愚溪當年心中的憤懣不滿一樣，已經被光陰和流水沖刷的無影無蹤，寄情于山水了，只剩下《愚溪詩序》了。
一天夜里，柳宗元剛睡下，有一個人就來到他的房間。