Pour Sy Baumgartner, 71 ans, auteur et professeur de philosophie, la vie n'a plus la même saveur depuis la mort de son épouse Anna, disparue neuf ans plus tôt. Suivant le fil de ses pensées, le roman se déploie en spirales de souvenirs et de réminiscences, de leur rencontre à New York en 1968 à leur relation passionnée quarante années durant, en passant par la jeunesse de Baumgartner à Newark et la vie de son père d'origine polonaise, couturier et révolutionnaire raté. Baumgartner revisite toutes les périodes de sa vie dans un subtil enchevêtrement de temporalités, et fait naître une question : pourquoi se souvient-on de certains moments et pas d'autres ?