El condado de Torre-Saura fue concedido por Fernando VII en 1818 a la segunda rama de los Olives, una de las familias más ricas y preeminentes de Menorca. Descrito por el archiduque Luis Salvador de Austria como “la mansión más bella de la isla”, adopta su fisonomía actual en la década de 1830. La puerta de acceso, situada en la calle Mayor des Born, está presidida por un enigmático rostro velado, símbolo romántico de acogida y hospitalidad. En cambio, la puerta de la monumental fachada neoclásica que da a la plaza del Born, presidida por el escudo nobiliario de la familia, es la de servicio y entrada de carruajes.
La casa señorial conserva los ambientes interiores originales y se puede visitar de mayo a octubre.