Babele Bensalem, il protagonista di questa saga familiare, è un medico ortopedico che vive a Parigi e cura le ossa dei suoi pazienti accostandole alle orecchie. Anche se è sordo, riesce a sentire i loro mali, così come riesce ad ascoltare le voci dei muri della casa dov'è nato, in una Lucania visionaria e senza nomi, dove si reca negli ultimi giorni del Novecento. Più che una casa, è una costruzione di piani sovrapposti, una specie di torre, cominciata dal bisnonno e proseguita, una camera sopra l'altra, man mano che la famiglia si accresceva di discendenti: un figlio, una stanza, un altro figlio, un'altra stanza, fino ai nipoti e ai pronipoti, come in un enorme albero genealogico. Mentre i falegnami smontano i mobili, Babele attraversa le stanze dove hanno abitato i suoi familiari dedicandosi al mestiere di mugnai, venditori di generi alimentari, fabbri, sarti, suonatori di clarino, esploratori, insegnanti di scuola elementare; tutti dentro quella che da sempre viene chiamata la "torre dei Bensalem", l'edificio ingombrante e misterioso che ha conservato i segreti di una stirpe nei cento anni in cui è stato popolato e che ora, dovendo essere sgombrato e venduto, ha deciso di liberarsi della propria memoria. Nel pochissimo tempo che precede il passaggio del millennio, entro e non oltre la mezzanotte del 31 dicembre 1999, Babele si impossessa di tutto quel che non ha mai saputo.
