Το φρούριο Ιτζεδίν χτίστηκε το 1872 από το Ρεούφ Πασά, στην ίδια θέση που το 1646 οι πρώτοι Τούρκοι διώχνοντας τους Ενετούς έχτισαν Πύργο. Αποτελούσε το κυριότερο αμυντικό έργο του λιμανιού και ονομάσθηκε έτσι προς τιμή του πρωτότοκου γιου του Σουλτάνου Αβδούλ Αζιζ Ιτζεδίν. Στα μεταγενέστερα χρόνια χρησιμοποιήθηκε κυρίως σαν φυλακή πολιτικών κρατουμένων, κρατουμένων του κοινού ποινικού δικαίου αλλά και θανατοποινιτών.

Την περίοδο της Κρητικής Πολιτείας (1903) ο Ελευθέριος Βενιζέλος γνώρισε για 15 ημέρες το αφιλόξενο περιβάλλον των φυλακών του φρουρίου μετά από καταδίκη του για εξύβριση, έπειτα από μήνυση που του υπέβαλλε ο Μητροπολίτης Κρήτης Ευμένιος που ήταν οπαδός του πρίγκιπα Γεωργίου. Στην περίοδο της δικτατορίας του Θ. Πάγκαλου, το 1924, κρατήθηκε στις φυλακές μεγάλος αριθμός πολιτικών αντιφρονούντων, ενώ μετά την πτώση της δικτατορίας με αντιπραξικόπημα το 1926 φυλακίστηκε για 2 χρόνια και ο ίδιος ο Πάγκαλος. Στην περίοδο της γερμανικής κατοχής και στα πρώτα χρόνια του εμφυλίου οι φυλακές δε λειτούργησαν.Τα τελευταία όμως χρόνια του εμφυλίου και μετά, το κάτεργο του Ιντζεδίν άνοιξε και πάλι.

Το 1948 από το κολαστήριο της Γυάρου μεταφέρθηκαν στις φυλακές του Ιντζεδίν, όπου γίνονταν και εκτελέσεις, οι πρώτοι κομμουνιστές πολιτικοί κρατούμενοι Από τα σκοτεινά και ανήλιαγα μεσαιωνικά μπουντρούμια του τις επόμενες δεκαετίες πέρασαν εκατοντάδες πολιτικοί κρατούμενοι, πρώτα απ' όλα κομμουνιστές, αλλά στην περίοδο της δικτατορίας των συνταγματαρχών και πολιτικοί ασχέτως ιδεολογίας. Ο τελευταίος αυτός ρόλος του φρουρίου, ως χώρος φυλάκισης πολιτικών κρατουμένων, που με την αντίσταση τους πάλεψαν για τις δημοκρατικές τους ιδέες στάθηκε αφορμή για να περάσει στην ιστορία της λογοτεχνίας και του κινηματογράφου. Οι ταινίες "Μέρες του 36" και "Τα πέτρινα χρόνια" έχουν βασικές αναφορές και πλάνα από το χώρο του Ιτζεδίν.  

Το τελευταίο διάστημα γίνονται οι απαραίτητες ενέργειες με το Υ.Π.ΠΟ, ώστε μετά την αποδέσμευσή του και περνώντας στην Κτηματική Υπηρεσία του Δημοσίου, αυτό το σπουδαίο οχυρωματικό έργο και μνημείο της σύγχρονης πολιτικής ιστορίας να αποδοθεί στην Τοπική κοινωνία.

Το Παλαίκαστρο ή "Κούλες Απτέρων" αποτελεί αντιπροσωπευτικό δείγμα Φρουριακής Αρχιτεκτονικής του 19ου αιώνα