En la realidad de El juego de la memoria existen dos tipos de personas: los Uno, que pueden recordar solo un día, el de ayer y los Duo, que también recuerdan el día de antes de ayer y que, por lo tanto, pertenecen a la clase privilegiada. Claire y Mark Evans forman un matrimonio mixto, algo poco común. Claire, Uno, es ama de casa, y Mark, Duo, es un exitoso novelista que se prepara para lanzar su carrera política. Aparentemente son el ejemplo perfecto de la política de tolerancia e igualdad, hasta que en la orilla de un río aparece el cuerpo de una mujer. A partir de entonces, el enigmático detective Hans Richardson entra en sus vidas y empieza la investigación en un mundo en el que la memoria es muy frágil.