Das Gelände wurde erstmals im 9. oder 10. Jahrhundert von den Arabern befestigt. In der zweiten byzantinischen Periode stand auf dem Gelände ein Turm, der als Castellum Comunis bekannt ist. 1303 wurde der Turm bei einem Erdbeben zerstört, aber repariert. 1462 genehmigte der venezianische Senat ein Programm zur Verbesserung der Befestigungsanlagen von Candia. Schließlich wurde der byzantinische Turm 1523 abgerissen und stattdessen das Castello a Mare errichtet. Die Festung wurde 1540 fertiggestellt. 1630 wurde das Fort mit 18 Kanonen im Erdgeschoss und 25 Kanonen auf dem Weg zum Dach bewaffnet. Während der 21-jährigen Belagerung von Candia neutralisierten osmanische Batterien leicht die Feuerkraft des Forts. Die Osmanen eroberten das Fort schließlich 1669, nachdem die Venezianer die gesamte Stadt aufgegeben hatten. Sie nahmen keine größeren Änderungen am Fort vor, mit Ausnahme von einigen Zinnen und Umarmungen. Sie errichteten ein kleines Fort, das als Little Koules auf der Landseite bekannt war, aber dieses wurde 1936 abgerissen.