Στο Πάνορμο Ρεθύμνου, σε ένα βράχο της ακτής, υπάρχουν τα λιγοστά ερείπια ενός κάστρου που κάποτε υπήρξε σημαντικό.

Το παραλιακό χωριό Πάνορμο (20 χλμ. δυτικά του Ρεθύμνου) στις αρχές του αιώνα μας ονομαζόταν Καστέλι Μυλοποτάμου ή Ρουμελί Καστέλι. Είναι κτισμένο στην θέση που ίσως ήταν η ρωμαϊκή πόλη Πάνορμος. Παλαιότερα ήταν ένα από τα σημαντικότερα μετακομιστικά λιμάνια της Κρήτης, καθώς εξυπηρετούσε όλη την επαρχία του Μυλοποτάμου.

Κοντά στο χωριό και στις απότομες ακτές του, δίπλα από την αποβάθρα του σημερινού χωριού, έκτισε στις αρχές του 13ου αιώνα ο Γενουάτης πειρατής Ερρίκος Πεσκατόρε το φρούριο Castel Milopotamo. Όταν οι Ενετοί κατέκτησαν την Κρήτη, διατήρησαν το φρούριο, ενώ παράλληλα τριγύρω από αυτό αναπτύχθηκε ο συνοικισμός (βούργος) που αργότερα μετεξελίχτηκε στο σημερινό Πάνορμο.

Το φρούριο είχε σχήμα αυγού με προσανατολισμό από βορρά προς νότο και ήταν εξοπλισμένο με επτά πύργους και δύο πόρτες, μια από την πλευρά της θάλασσας και μια από τη νότια μεριά. Το 1341 οι Καψοκαλύβες (τοπική οικογένεια) πολιόρκησαν το φρούριο, μέσα στο οποίο ήταν ο Αλέξιος Καλλέργης, Κρητικός άρχοντας που είχε ταχθεί υπέρ των Ενετών, αλλά αποκρούστηκαν.

Το 1538 ο πειρατής Χαϊρεντίν Μπαρμπαρόσα κατέστρεψε το Castel Milopotamo, αλλά οι Ενετοί το επισκεύασαν αμέσως. Αργότερα οι Τούρκοι, αφού κατέλαβαν το Ρέθυμνο, άρχισαν να να βαδίζουν προς τον Χάνδακα. Έτσι, περνώντας από το Πάνορμο, κατέλαβαν το φρούριο το 1647. Οι Ενετοί προσπάθησαν να το ανακαταλάβουν κάνοντας απόβαση με τον στρατηγό Γιλδάση (Gil d’ Has), αλλά απέτυχαν.

Σήμερα δεν έχει μείνει σχεδόν τίποτα, εκτός από ένα μικρό τμήμα τείχους από την πλευρά της θάλασσας, δίπλα σε ένα εκκλησάκι, που μοιάζει με σωρό από πέτρες.