Agnes, eine junge Literaturprofessorin in Neuengland, wird nach einem traumatischen Erlebnis aus der Bahn geworfen. Während ihr Umfeld rasch zur Normalität zurückkehrt, ringt sie mit dem Gefühl, stillzustehen. Über mehrere Jahre und in fünf Kapiteln begleitet der Film ihren behutsamen Weg zurück zu sich selbst – getragen von scharfem Humor und der unerschütterlichen Unterstützung ihrer besten Freundin. In ruhigen, präzisen Bildern und mit feinem Gespür für Zwischentöne erzählt Sorry, Baby von der Suche nach Orientierung, wenn das eigene Leben aus den Fugen gerät, und von der erstaunlichen Kraft einer Freundschaft, die Halt gibt, lange bevor man ihn selbst wieder spüren kann.