Метафора "Башня из слоновой кости" впервые была использована в библейской Песне Соломона (17-я книга Танаха, 4-я книга Ктувим): "Шея твоя — как столп из слоновой кости" (Песн. 7:5).
В разное время данное выражение имело различный смысл. Так в Средние века в католическом богослужении это выражение использовалось иносказательно по отношению к Деве Марии. В эпоху романтизма смысл метафоры значительно видоизменился и она стала обозначением ухода в мир творчества от проблем современности, самоизоляцию, замыкание в духовных исканиях, "оторванных" от "прозы жизни". Первоначально же сравнение употреблялось как метафора красоты и непорочности. В XVI веке его латинский перевод был включён, среди других эпитетов, в литанию Деве Марии, хотя сам образ, скорее всего, восходит по меньшей мере к XII столетию. Изображения башни распространены в католической религиозной живописи и на церковных витражах. Нынешнее употребление этого образа внедрил французский критик и поэт Шарль Огюстен Сент-Бёв в одном из стихотворений сборника "Августовские мысли". Где сравнивал современных ему поэтов, описывая творчество Альфреда де Виньи следующими словами: "А самый таинственный, Виньи, ещё до полудня словно возвращался в башню из слоновой кости". Дело в том, что Де Виньи, в отличие от таких своих современников, как Виктор Гюго и Альфонс де Ламартин, отличался показным безразличием к политическим проблемам, настаивал на абсолютной независимости творческой личности от внешних обстоятельств, избегал выходов в свет и вёл крайне уединённую жизнь.
В культуре США же представление о "башне из слоновой кости" связано с критикой университетов (особенно входящих в "Лигу плюща") и академической элиты в целом за презрительное отношение к "профанам", снобизм и замкнутость.