Το μοναστήρι του Αγίου Φραγκίσκου χτίστηκε στις αρχές της εγκατάστασης των Βενετών στην Κρήτη.
Βρισκόταν στη θέση που είναι σήμερα το Αρχαιολογικό Μουσείο. Ήταν το πιο πλούσιο και μεγαλόπρεπο μοναστήρι της πόλης. Ξεπερνούσε σε ύψος όλα τα χτίρια γύρω του και ξεχώριζε από μακριά. Μέσα στο ναό υπήρχαν λείψανα του Τιμίου Σταυρού, η κάρα του Αγίου Στεφάνο ,ο βραχίονας του Αγίου Συμεών και λείψανα από το χιτώνα του Αγίου Φραγκίσκου.
Η μονή καταστράφηκε από σεισμό το 1508 αλλά ξαναχτίστηκε με ακόμη πιο επιβλητική μορφή και πιο στέρεη κατασκευή αφού κατάφερε να αντέξει στον ισχυρό σεισμό του 1595. Ο ναός είχε ένα κλίτος, το οποίο τελείωνε σε εγκάρσια κάμαρα, ενώ η στέγη του ήταν ξύλινη με δύο γυρτά μέρη εκτός από το πρεσβυτέριο που είχε χτιστό θόλο. Ήταν τοιχογραφημένος με αγιογραφίες. Στο μοναστήρι ανατράφηκε ο Πέτρος Φίλαργος ο οποίος εκλέχτηκε πάπας το 1409, με το όνομα Αλέξανδρος ο Ε'. Από ευγνωμοσύνη βοήθησε στη διακόσμηση του μοναστηριού. Μεταξύ των άλλων έστειλε από τη Ρώμη και την κύρια πύλη του ναού η οποία ήταν εντυπωσιακή. Είχε ένα υπέρθυρο με επιστήλιο, που όπως λέει ο Gerola, ήταν σκαλισμένο με φυλλωτά κοσμήματα μέσα από τα οποία εξείχαν οι προτομές των Αποστόλων με την προτομή του Σωτήρα στην κορυφή.
Ο ναός ήταν ιδιαίτερα σημαντικός για τους κατοίκους του Χάνδακα και στη γιορτή του έτρεχε πλήθος προσκυνητών, τάσσοντας τα άρρωστα παιδιά τους στον Άγιο και ντύνοντάς τα για το λόγο αυτό με τη στολή του τάγματος των Φραγκισκανών. Τον Άγιο τιμούσαν και οι ορθόδοξοι, οι οποίοι έδιναν στο παιδιά τους το όνομα Φραγκίσκος και Φραγκιός από όπου και το συνηθισμένο επίθετο Φραγκιαδάκης και Φραγκιαδουλάκης.
Κατά την Τουρκοκρατία έγινε τζαμί. Κατέρρευσε από το σεισμό του 1856 και κατεδαφίστηκε ένα χρόνο αργότερα.
Η πύλη του μοναστηριού αποτελεί σήμερα τμήμα της βόρειας εισόδου του Δικαστικού Μεγάρου στην οδό Δικαιοσύνης.