Το κάστρο της Σκήτης είναι ουσιαστικά τα απομεινάρια της οχύρωσης ενός Βυζαντινού οικισμού με έκταση 132 στρεμμάτων, που βρίσκεται στα δυτικά της Σκήτης, στην περιοχή Αγιάς Λαρίσης, σε βραχώδες πλάτωμα του Μαυροβουνίου. Η θέση προσφέρει μοναδική θέα (και εποπτεία) τόσο προς την παράλια διαδρομή όσο και στο λεκανοπέδιο της Αγιάς.

Ταυτίζεται με τη βυζαντινή Κενταυρούπολη, που ιδρύθηκε τον 6ο αιώνα από τον αυτοκράτορα Ιουστινιανό με σκοπό να προστατεύσει τους πληθυσμούς της περιοχής. Η οχύρωση δεν ενισχύθηκε ούτε τροποποιήθηκε μετά την αρχική κατασκευή.

Τα τείχη είναι κτισμένα με αρκετά μεγάλες πέτρες, που σχηματίζουν σειρές και έχουν πλάτος 2 μέτρων και διατηρούμενο ύψος 2 με 3 μέτρα. Στα βορειοανατολικά υπάρχει προσθήκη των μεσοβυζαντινών χρόνων, στην οποία ανήκει και ο μοναδικός σωζόμενος πύργος. Τα τείχη στο σημείο αυτό έχουν μικρότερο πάχος και περιέχουν αρκετά τμήματα κεραμιδιών. Καλύτερα διατηρείται η ανατολική και η νότια πλευρά ενώ η βόρεια έχει καταρρεύσει.

Στο εσωτερικό της οχύρωσης έχουν εντοπισθεί δεξαμενή και εκκλησία των μεσοβυζαντινών χρόνων ενώ αρκετά ερείπια κτισμάτων μαρτυρούν ότι στο σημείο αυτό βρισκόταν η αρχική θέση του οικισμού της Σκήτης που μετακινήθηκε αργότερα προς την Ανατολή. Το όνομα του οικισμού προέρχεται από τη Σκήτη των Αγίων Αναργύρων που εγκαταστάθηκε το 12ο αιώνα στη χαράδρα βόρεια από το Κάστρο, αποτελώντας το νότιο όριο του Όρους των Κελλίων, το οποίο απλωνόταν στον Κίσσαβο. Η μοναστική χρήση της ευρύτερης περιοχής συνεχίσθηκε και στα μεταβυζαντινά χρόνια, όπως αποδεικνύεται τόσο από τη μονή Αγίων Αναργύρων όσο και από τα μοναστήρια του δάσους του Πολυδενδρίου στα νότια της Σκήτης.