Το «Εργαστήριο Τεχνολογίας των Κατεργασιών» του Εθνικού Μετσόβιου Πολυτεχνείου, σε συνεργασία με την εταιρεία Vioral, μελέτησε τις δυνατότητες και τις εφαρμογές της μηχανικής όρασης, η οποία αξιοποιεί την τεχνητή νοημοσύνη και γενικότερα τα εργαλεία του Industry 4.0.
Του κ. Γ. Βοσνιάκου και της κ. Ε. Μάνου*
Οι εφαρμογές μηχανικής όρασης στη βιομηχανία κερδίζουν σταθερά έδαφος, συνδυάζοντας και αξιοποιώντας τα εργαλεία τεχνητής νοημοσύνης και γενικότερα του Industry 4.0. Μπορούν μάλιστα να ταξινομηθούν ευρέως στους ακόλουθους τομείς: «οπτική επιθεώρηση», «έλεγχος κατεργασίας», «αναγνώριση εξαρτημάτων» και «καθοδήγηση / έλεγχος ρομπότ».
Παρακάτω επικεντρωνόμαστε σε μια οπτική επιθεώρηση που αφορά τον προσδιορισμό διαστάσεων, το φινίρισμα της επιφάνειας και τα χαρακτηριστικά του εξαρτήματος, όπως είναι: η θέση, ο προσανατολισμός και η ευθυγράμμιση, η ορθότητα του σχήματος, η ακεραιότητα της μορφής χωρίς παραμόρφωση, η παρουσία συγκεκριμένων μορφολογικών (όπως είναι π.χ. οπές, σχισμές, σπειρώματα, πριτσίνια κλπ.), η έλλειψη πλεονάζοντος υλικού (όπως είναι φλας, γρέζια κλπ.), καθώς και η έλλειψη επιφανειακών ελαττωμάτων (π.χ. γρατσουνιών, ρωγμών, πτυχών, συνέχεια ακμών και ραφών).
Η αυτοματοποίηση της οπτικής επιθεώρησης στο βιομηχανικό έλεγχο ποιότητας έχει εξελιχθεί πολύ τις τελευταίες δεκαετίες. Αρχικά, δεδομένων των περιορισμένων υπολογιστικών πόρων, δόθηκε έμφαση στην ανάπτυξη ισχυρών και γρήγορων αλγορίθμων. Στη συνέχεια, αναπτύχθηκαν συγκεκριμένες εφαρμογές για την εξασφάλιση γρήγορης απόκρισης, ακόμη και σε πραγματικό χρόνο, κυρίως με εκμετάλλευση του συνεχώς εξελισσόμενου hardware.
Τα τελευταία χρόνια, η μηχανική μάθηση (όπως είναι π.χ. τα συνελικτικά δίκτυα) εισήλθε δυναμικά στη σκηνή της οπτικής επιθεώρησης. Ωστόσο, οι απλές αλγοριθμικές προσεγγίσεις εξακολουθούν να διατηρούν τις αρετές τους όταν η μηχανική μάθηση μπορεί να θεωρηθεί «υπερβολική».
Οπτική επιθεώρηση
Στη συνέχεια επικεντρωνόμαστε στην οπτική επιθεώρηση των διαστάσεων, στον έλεγχο της παρουσίας χαρακτηριστικών ένθετων και οπών και στην επαλήθευση της απουσίας επιφανειακών ελαττωμάτων (ρωγμών) σε τεμάχια που έχουν παραχθεί με χύτευση υπό πίεση. Παρουσιάζονται διάφορες κλασικές τεχνικές αλλά και η εφαρμογή νευρωνικών δικτύων.
Το προς επιθεώρηση εξάρτημα φαίνεται στην εικ. 1. Υπάρχουν τέσσερις γραμμικές διαστάσεις που πρέπει να μετρηθούν (d1-d4), τέσσερα ένθετα ( ε1-ε4) και δύο οπές (o1, o2) των οποίων η παρουσία πρέπει να επαληθευτεί. Επίσης πρέπει να ελεγχθεί τυχόν παρουσία ρωγμών (c) σε μια συγκεκριμένη περιοχή.
Όσο αφορά το hardware του συστήματος μηχανικής όρασης, δοκιμάστηκαν δύο διαφορετικές διατάξεις: α) μια βιομηχανική διάταξη, κατάλληλη για μετρήσεις διαστάσεων και ελέγχου παρουσίας ένθετων και οπών και β) μια «προσαρμοσμένη» διάταξη που σχεδιάστηκε ειδικά για ανίχνευση ρωγμών (βλ. εικ. 2).
Η πρώτη διάταξη περιλαμβάνει μια οπίσθια φωτιζόμενη βάση που φιλοξενεί το εξάρτημα, μια κάμερα Cognex και κατευθυντικούς προβολείς, ενώ η δεύτερη περιλαμβάνει μια βάση που συγκρατεί το εξάρτημα, καθώς και ένα συρόμενο κάλυμμα που απομονώνει το εξάρτημα από το φως του περιβάλλοντος.
Ο φωτισμός της δεύτερης διάταξης προέρχεται από ένα πάνελ LED (λωρίδα LED 5 m, 12V DV 60 LED /m, με πλάτος 8mm και μέγιστη ισχύ 4,8 W/m.) με κεντρική οπή, πίσω από την οποία τοποθετείται μια κάμερα Canon EOS M με φακό EF-M 22mm f / 2). Οι φωτογραφίες που λαμβάνονται έχουν ελάχιστη ανάλυση 800 X 600 pixel.
Μεθοδολογία
Η μεθοδολογία για τη μετρολογία διαστάσεων, τον έλεγχο της παρουσίας χαρακτηριστικών και την ανίχνευση ρωγμών σε συγκεκριμένες περιοχές του εξαρτήματος παρουσιάζεται με γενικούς όρους (βλ. εικόνα 3), ενώ τα σχετικά βήματα υλοποιούνται από διαφορετικούς αλγόριθμους που αναπτύχθηκαν σε 1.352 γραμμές κώδικα Matlab. Η προεπεξεργασία εικόνας αφορούσε την αποθορυβοποίηση σύμφωνα με τον αλγόριθμο ανισότροπης διάχυσης. Οι ονομαστικές αποστάσεις που πρέπει να ελεγχθούν σχετικά με τις δύο οπές (βλ. εικ. 1), με ακρίβεια +/-0,5mm είναι: d1=16mm, d2=33,97mm, d3=27,74mm και d4=9,74mm.
Αξίζει να σημειωθεί ότι ο προσανατολισμός των εικόνων που αντιστοιχούν μπορεί να διαφέρει ελαφρώς από τεμάχιο σε τεμάχιο, λόγω της σχετικά χαλαρής τοποθέτησής τους στην ιδιοσυσκευή για ευκολία τοποθέτησης και ανάκλησης. Η αρχική προσέγγιση ήταν να βρεθούν οι ευθείες γραμμές που εφάπτονται στα τοιχώματα, και στη συνέχεια να υπολογιστούν τριγωνομετρικά οι απαιτούμενες αποστάσεις.
Όμως, η εφαρμογή του μετασχηματισμού Hough για τον εντοπισμό γραμμικών τμημάτων στη δυαδική εικόνα, οδηγεί σε κακά αποτελέσματα. Η εναλλακτική προσέγγιση εύρεσης ακμών, με τον αλγόριθμο Canny, με εκμετάλλευση παραλληλίας και καθετότητας των εμπλεκόμενων ευθειών (βλ. εικ. 4α), με προηγούμενη κατάλληλη περιστροφή (ώστε η νέα εικόνα να συμπίπτει με εικόνα αναφοράς) και με χρήση του βέλτιστου ανιχνευτή SURF, έδωσε υπερβολικά μεγάλο χρόνο εκτέλεσης 3 sec.
Στη μέθοδο που χρησιμοποιήθηκε τελικά, τα κέντρα των δύο κύκλων (βλ. εικ. 4 β) είναι γνωστά, και σχεδιάζεται μια οριζόντια γραμμή, οπότε υπολογίζεται η γωνία Angle που ονομαστικά θα πρέπει να είναι π/4. Επομένως η εικόνα θα πρέπει να περιστρέφεται κατά π/4- Angle, ώστε η ευθεία πε1 να γίνει οριζόντια. Στη δυαδική εικόνα, τα λευκά pixel υποδηλώνουν το εξωτερικό του εξαρτήματος.
Ως παράδειγμα υπολογισμού απόστασης, το σημείο D είναι γνωστό και η ευθεία εd1 είναι πλέον κατακόρυφη. Έτσι, το Α προσδιορίζεται αναζητώντας το πρώτο λευκό εικονοστοιχείο σε μια σειρά μαύρων εικονοστοιχείων κατά μήκος της γραμμής εd1. Για ταχύτερο υπολογισμό, το εύρος αναζήτησης καθορίζεται ως +/-10 εικονοστοιχεία γύρω από την ονομαστική θέση, η οποία είναι γνωστή από το σχέδιο CAD (βλ. εικ. 4 γ). Οι υπόλοιπες αποστάσεις που απαιτούνται υπολογίζονται με παρόμοιο τρόπο.
Οι αποστάσεις των εικονοστοιχείων βαθμονομήθηκαν σε σχέση με τη φυσική κλίμακα. Σε σπάνιες περιπτώσεις, όπου υπάρχει ασυνέχεια των λευκών εικονοστοιχείων λόγω προβλημάτων ανίχνευσης ακμών, γίνεται διόρθωση με αλγόριθμο διαστολής.
Έλεγχος ένθετων και πλευρικών οπών
Τα ένθετα (ε1 – ε4) είναι χωριστοί κύλινδροι ενσωματωμένοι σε ειδικά κατασκευασμένες οπές του εξαρτήματος. Έτσι, η παρουσία ενός ένθετου ανιχνεύεται με αναζήτηση κύκλων βάσει τυποποιημένου αλγορίθμου. Αυτό είναι απλό όσον αφορά τα ένθετα ε1 – ε3 (βλ. εικ. 1)
Στην περίπτωση του ε4 που γειτονεύει με τις οπές ο1 και ο2, χρησιμοποιήθηκαν μορφολογικές συναρτήσεις ξεκινώντας από ασπρόμαυρη εικόνα και εφαρμόζοντας κατάλληλο «καθαρισμό», π.χ. αφαίρεση των pixel που αγγίζουν το περίγραμμα της εικόνας. Οι δύο πλευρικές οπές (o1-o2) βρίσκονται με παρόμοιο τρόπο με τον επιπλέον περιορισμό απόστασης από το ένθετο, ώστε να διακρίνονται από άλλα μικρά κυκλικά αντικείμενα παρόμοιου μεγέθους (βλ. εικ. 5 β).
Ο σχετικός κώδικας εκτελείται σε 1 δευτερόλεπτο, αλλά η ανίχνευση των πλευρικών οπών εξαρτάται από την ανίχνευση ένθετου, πράγμα μη αποδεκτό. Για τις οπές, λοιπόν, αξιοποιήθηκε η έννοια της «περιοχής ενδιαφέροντος» (ROI), καθώς η ονομαστική θέση τους είναι γνωστή με μικρή ανοχή. Η περικομμένη εικόνα είναι πολύ μικρότερη από την αρχική και υφίσταται τις ίδιες μορφολογικές επεμβάσεις που αναφέρθηκαν προηγουμένως.
Εάν ανιχνευτεί αντικείμενο στην εικόνα, τότε πρόκειται για διαμπερή οπή όπως προβλέπεται. Αν δεν ανιχνευτεί αντικείμενο, τότε δεν υπάρχει διαμπερής οπή. Η ίδια προσέγγιση ενδείκνυται για την ταχεία ανίχνευση του ένθετου ε4. Η διάρκεια αυτών των ελέγχων είναι αμελητέα και κυμαίνεται από 52 msec (όταν δεν υπάρχουν ένθετα και οπές) έως 60 msec (όταν υπάρχουν).
Ανίχνευση ρωγμών
Όσο αφορά την ύπαρξη ρωγμής, το μέγεθος και η ακριβής θέση της μπορεί να διαφέρουν, αλλά η περιοχή στην οποία εμφανίζεται είναι καθορισμένη και οφείλεται στην τοπική πίεση που προκαλείται από ένθετο. Για την ανίχνευση τυχόν ρωγμής, η περιοχή αυτή χωρίζεται σε 16 υποπεριοχές (βλ. εικ. 6α). Το επίπεδο φωτεινότητας κάθε υποπεριοχής μετράται σε κλίμακα 0-1 και κατασκευάζεται έτσι διάνυσμα από 16 στοιχεία τιμής φωτεινότητας.
Δημιουργείται τεχνητό νευρωνικό δίκτυο (Artificial Neural Networks [ANN]) που αποτελείται από 16 νευρώνες εισόδου, δηλαδή το διάνυσμα φωτεινότητας, ένα κρυφό στρώμα με 8 νευρώνες και δύο νευρώνες εξόδου (ρωγμή / χωρίς ρωγμή). Το τεχνητό νευρωνικό δίκτυο εκπαιδεύτηκε με τις προεπιλεγμένες υπερπαραμέτρους που υπαγορεύονται από το Matlab nntool για την αναγνώριση μοτίβων. Ως συνάρτηση εκπαίδευσης επιλέχθηκε η κλιμακούμενη οπίσθια διάδοση συζυγούς κλίσης (trainscg), και η συνάρτηση ενεργοποίησης ήταν η σιγμοειδής υπερβολική εφαπτομένη (tansig).
Η εκπαίδευση σταματά με βάση τρία κριτήρια, που είναι:
α) Ο μέγιστος αριθμός εποχών (1.000).
β) Ο μέγιστος αριθμός αποτυχιών επικύρωσης (6).
γ) Το ελάχιστο μέγεθος κλίσης κατάβασης (10-6). ΝΑ ΓΙΝΕΙ ΤΟ -6 ΕΚΘΕΤΗΣ!!!!!!!
Χρησιμοποιήθηκαν 76 φωτογραφίες διαχωριζόμενες σε υποσύνολα εκπαίδευσης (54), επικύρωσης (10) και ελέγχου (12). Η απόδοση του τεχνητού νευρωνικού δικτύου βάσει του μέσου τετραγωνικού σφάλματος (mean square error [MSE]) φαίνεται στην εικ. 6β). Το καλύτερο αποτέλεσμα εκπαίδευσης έχει επιτευχθεί στην εποχή 19 (MSE = 0,012), ενώ η καμπύλη ελέγχου και επικύρωσης ακολουθεί παρόμοιο μοτίβο όπως είναι επιθυμητό. Ο πίνακας σύγχυσης σχετικά με την απόδοση ταξινόμησης στις δύο κατηγορίες (1: ύπαρξη ρωγμής, 2: απουσία ρωγμής) φαίνεται στην εικ. 6γ.
Συνολικά, το 94,7% των προβλέψεων ήταν σωστές. Επιπλέον, όλες οι ανιχνεύσεις εξαρτημάτων χωρίς ρωγμές ήταν σωστές, ενώ όσον αφορά τα εξαρτήματα με ρωγμές, ποσοστό 8,5% βρέθηκε λανθασμένα ότι δεν είχε ρωγμές.
Συμπεράσματα
Ως αποτίμηση της προσέγγισης που παρουσιάστηκε, ο οπτικός έλεγχος της ποιότητας των εξαρτημάτων διευκολύνεται και επιταχύνεται σε τέσσερις περιπτώσεις:
- Όταν εφαρμόζεται προσαρμοσμένος φωτισμός.
- Όταν οι κατάλληλες ιδιοσυσκευές εξασφαλίζουν τη θέση και τον προσανατολισμό των εξαρτημάτων.
- Όταν η θέση των επιθεωρούμενων χαρακτηριστικών είναι περίπου γνωστή.
- Όταν το σχήμα του χαρακτηριστικού είναι ή μπορεί να προσεγγιστεί με απλές γεωμετρικές μορφές, όπως είναι γραμμές, κύκλοι κλπ. για τις οποίες υπάρχουν τυπικές ρουτίνες σε βιβλιοθήκες επεξεργασίας εικόνας.
Υπάρχουν συνήθως περισσότερες από μία λύσεις σε προβλήματα επιθεώρησης, αλλά η επιλογή υπαγορεύεται από την ελαχιστοποίηση του χρόνου εκτέλεσης. Τα τεχνητά νευρωνικά δίκτυα μπορεί να είναι προτιμότερα από ντετερμινιστικές αλγοριθμικές λύσεις επεξεργασίας εικόνας, εάν οι τελευταίες είναι επιρρεπείς σε αβεβαιότητες λόγω μεταβλητότητας φωτισμού ή θέσης.
Η ευρωστία σε σχέση με την ποιότητα της εικόνας και την κλιμάκωση / προσανατολισμό είναι σημαντικός παράγοντας και αποτελεί θέμα μελλοντικής εργασίας, όπως και η αυτόματη δημιουργία περαιτέρω εικόνων που απαιτούνται για την καλύτερη εκπαίδευση του τεχνητού νευρωνικού δικτύου.
*Ο κ. Γιώργος – Χ. Βοσνιάκος είναι καθηγητής στο Εθνικό Μετσόβιο Πολυτεχνείο (ΕΜΠ) και διευθυντής του Εργαστηρίου Τεχνολογίας των Κατεργασιών, ενώ η κ. Ευγενία Μάνου είναι μηχανολόγος μηχανικός του ΕΜΠ. Η εργασία εκπονήθηκε σε συνεργασία με την εταιρεία Vioral SA, η οποία παρείχε τα εξαρτήματα όπως και φωτογραφίες από βιομηχανικού τύπου κάμερα.
Εικ. 1: Είδη επιθεώρησης που φαίνονται σε δύο όψεις του εξαρτήματος: Μέτρηση διαστάσεων (d1-d4), παρουσία ένθετων (ε1- ε4), παρουσία οπών (o1 – o2) και παρουσία ρωγμών (c).
Εικ. 2: Συστήματα μηχανικής όρασης για μέτρηση διαστάσεων και ανίχνευση ρωγμών σε εξάρτημα, καθώς και πίνακας φωτισμού LED.
Εικ. 3: Μεθοδολογία και ροή πληροφορίας.
Εικ. 4: Αποστάσεις σε μη περιστρεφόμενη εικόνα (α), περιστροφή εικόνας (β) και αποστάσεις σε περιστρεφόμενη εικόνα (γ).
Εικ. 5: Ανίχνευση βάσει πλήρους εικόνας (α) και βάσει «περιοχής ενδιαφέροντος» (β)σε ένθετο (ε4) και πλευρικές οπές (o1-o2).
Εικ. 6: Τυπική ρωγμή με 16 «περιοχές ενδιαφέροντος» (α), απόδοση εκπαίδευσης τεχνητού νευρωνικού δικτύου (β) και πίνακας σύγχυσης (γ).
