On dit couramment « s'enfermer dans sa tour d'ivoire », surtout en parlant des artistes et des poètes, ce qui signifie se retirer loin des bruits du monde, dans un séjour idéal, au fond d'un abri mystérieux sculpté dans une matière rare, pour y savourer en paix les exquises douceurs de la rêverie et de l'étude. Cette expression a été appliquée, pour la première fois, par Sainte-Beuve, au délicat poète Alfred de Vigny, dont le goût pour la retraite est resté légendaire.

Dans une pièce de vers adressée A M. Villemain vers 1837, Sainte-Beuve, dressant le bilan de la poésie française pendant les années précédentes, écrivait :

Lamartine régna ; chantre ailé qui soupire,
Il planait sans effort. Hugo, dur partisan,
(Comme chez Dante on voit, Florentin ou Pisan,
Un baron féodal), combattit sous l'armure,
Et tint haut sa bannière au milieu du murmure :
Il la maintient encore ; et Vigny plus secret,
Comme en sa tour d'ivoire, avant midi, rentrait.

(Pensées d'août ; poésies complètes, 1863, t.II, p.231.)

« Tour d'ivoire » (Turris eburnea) est aussi, mais avec un sens très différent, une image fort ancienne qui appartient à la phraséologie liturgique. C'est une des formules de vénération employées dans les litanies de la Vierge, en souvenir de ce verset du Cantique des cantiques (chap. VII, v. 4) :

« Votre cou est comme une tour d'ivoire. »