Lettermani valmisolek esineda külalisena teistes saadetes, samuti tema silmatorkav eemalolek saatest, mis tegi temast tuntuks, panid mõned mõtlema, mis takistas tal naasta oma vanadele trampimispaikadele. Hiline saade. Mõned spekuleerisid, et see võis olla seotud tema vastusega Colberti järglaseks valimisele, vaid nädal pärast seda, kui Letterman teatas, et lahkub saatest. “Nad ei pidanud selle peale palju mõtlema, eks?” ütles Letterman 2015. aastal. “Ma mõtlen [the announcement] oli juba järgmisel päeval.” Lisaks tõusis Colbert kiiresti hilisõhtuste edetabelite tippu Hiline saade temast sai kaks aastat pärast seda, kui ta juhtima asus, kõrgeima hinnanguga hilisõhtune telesaade – see eristus jäi Lettermanile suurema osa tema tööst laua taga kõrvale.
Siiski oli Lettermani visiidi ajal võõrustaja ja külalise vahel hea vibratsioon. Võib-olla sellepärast, et Letterman ilmus hiljuti lehele Löögijõud viis taskuhäälingusaade, mis nägi hilisõhtul saatejuht Colbertit, Seth Meyers, Jimmy Kimmel, Jimmy Fallonja John Oliver ühendage jõud, kuni nende saated olid kirjanike streigi tõttu pausil. Lettermani episoodis selgitas Colbert, kuidas ta broneeringu lõpetas Hiline saade, öeldes, et produtsendid pöördusid tema poole Lettermani võimaliku väljavahetamise pärast 2013. aastal, kuid Colbert tahtis enne edasiliikumist kinnitada, et Letterman teadis nende vestlusest. Letterman teatas oma pensionile jäämisest umbes kuus kuud hiljem, 2014. aastal.
Letterman ütles taskuhäälingusaates Colbertile, et kuigi ta oli produtsentidega rääkinud potentsiaalsest pensionile jäämisest, ei rääkinud ta nendega kunagi Colberti või muude võimalike asendajate teemal. “Ma olen kindel, et seda osa ei juhtunud,” ütles Letterman. Letterman võrdles olukorda olukorraga, millega ta silmitsi seisis aastakümneid tagasi, kui NBC pöördus tema poole sooviga hakata osalise tööajaga saatejuhiks. Tänaõhtune saade koos Johnny Carsoniga ilma Carsoni idee käivitamata. Kui ta sai teada, et Carson on pimeduses, lükkas Letterman kontserdi tagasi ja pärast kurikuulsat lahingut Jay Leno asendada Carson, jätkas loomist Hiline saade CBS-i jaoks 1993. aastal.
Kuid nüüd tunduvad Lettermani ja Colberti vahelised ebamugavad tunded olevat vesi silla all. Lõpu poole palus Letterman vana aja huvides oma laua taha istuda. Colbert kohustub. “Mida sa minu varudest arvate?” küsis Colbert. “Kas see oli midagi sellist, nagu teil seal all?” “Mida?” Hr Letterman irvitas: “Kogu see umbrohi?”
