El comtat de Torre-Saura és concedit per Ferran VII l’any 1818 a la segona branca dels Olives, una de les famílies més riques i preeminents de Menorca. Descrita per l'arxiduc Lluís Salvador d'Àustria com “la mansió més bella de l'illa”, adopta la seva fisonomia actual en la dècada de 1830. La porta d'accés, situada en el carrer Major des Born, està presidida per un enigmàtic rostre velat, símbol romàntic d'acollida i d'hospitalitat. Contràriament, la porta de la monumental façana neoclàssica que dona a la plaça del Born i que apareix presidida per l'escut nobiliari de la família, és la de servei i d'entrada de carruatges.
La casa senyorial conserva els ambients interiors originals i es pot visitar de maig a octubre.