El castell d’Eivissa comprèn un conjunt d’edificacions situades al cim del Puig de Vila. Quan encara no existien les murades renaixentistes, aquest recinte i l’almudaina formaven una fortalesa envoltada per una cinta de murada i 12 torres, a l’interior de la qual un tenia un altre tram amb una torre que separaba els recintes.

L’origen del castell podría remontar-se a l’època àrab, atès la seua planta quadrangular amb torres als cantons, conformant una estructura fortificada que se sembla als qars islàmics com, per exemple, el de Mallorca. L’entrada original al recinte devia trobar-se al costat de llevant, entre les torres II i III, tal vegada al mateix lloc que ocupa l’actual, modificada cap el segle XVIII.

Les intervencions realitzades a la casa del Governador han permès conèixer millor el flanc sud comprès entre les torre I, VI i VII. A l’interior de la torre VI s’han documentat estructures d’època àrab, i a l’exterior es veuen restes arrasats d’una torre o llenç de murada més antiga, als que se’ls superposa la torre de l’Homenatge, constrïda al segle XIV. Aquesta torre és la més alta i millor conservada de totes les de la fortalesa. Situada a la confluència dels recintes del Castell i l’Almudaina, domina una àmplia perspectiva de la costa sud de l’illa i el port de la ciutat.

El costat sud del castell està ocupat per la “Casa del Governador” que reuneix un conjunt d’edificacions de tipus residencial on habitaven els representants del govern. Allí es degué allotjar el rei d’Aragó, Alfons III, durant la seua estada a Eivissa l’any 1286, segons conta el cronista Ramon Muntaner. A les seues dependències es conservaven diferents elements arquitectònics, alguns d’estil gòtic i altres renaixentistes, sense excloure l’origen àrab d’algunes parts de l’edificació, concretament un tram de la fortificació que es troba integrada en els murs de la planta baixa i primera. 

L’Almudaina es juxtaposa a ponent del castell amb el qual compartia dos torres i un llenç de murada, actualment desaparegut. El seu perímetre conegut per la cartografia històrica consta de sis torres exteriors i dues al tram intermig amb el castell. La primitiva entrada es trobava al mur nord, comunicada amb el carrer de l’Almudaina, esmentada per diverses fons medievals, per la qual s’arribava a la plaça de la Catedral. El recinte degué construir-se a principis del segle X dC. i al seu interior devia haber-hi diverses edificacions de caràter militar i residencial que ocupaven la part central i franja nord del recinte.

La fortificació del costat nord, que consta de tres torres units amb trams de murada, és la part millor conservada de la fortalesa medieval. L’entrada primitiva, situada entre les torres IV i VIII, fou anul•lada al segle XVIII, al mateix temps que es va eliminar el llenç que separava l’Almudaina del Castell, des de llavors ha quedat com a únic accés, la porta de la Bomba, construïda al segle XVI, al cantó SO del recinte.

El castell i Almudaina, amb la resta de la ciutat, passarà a mans dels tres conqueridors però de forma indivisible. Sobre l’evolució dels recintes en els segles posteriors a la conquesta, les fonts escrites no aporten excessives informacions. Es coneixen algunes referències al•lusives a habitatges i carrers, que fins i tot podien ser els mateixos de l’època anterior. Fins a la segona meitat del XVI no es produirà una reorganització important de l’espai interior, arrel de la construcció de l’edifici de les Voltes, el més antic de tots els que es conserven actualment.

Un altre element construït per aquell temps fou el Cavaller de l’Almudaina, també anomenat de Sta. Bàrbara. Es tracta d’una plataforma elevada que s’alça damunt un terraplè construït sobre un llarg tram de muralla i torres medievals, que servia per col•locar artilleria per a la defensa del recinte.

Finalment, a principis del segle XVIII s’edificà dins l’Almudaina un quarter per a un batalló d’infanteria projectat per Simon Poulet el 1727. Les seues dependències, un quarter de tropes, un pavelló d’oficials i una capella, s’articulen formant una U al voltant d’un ampli pati d’armes. Amb aquest  edifici s’unificà definitivament l’espai interior dels recintes medievals en eliminar el llenç de muralla que els separava.