Μπορεί μια μαθηματική εξίσωση να προβλέψει πότε ένα chatbot τεχνητής νοημοσύνης κινδυνεύει να περάσει από τις χρήσιμες απαντήσεις σε επικίνδυνες συμβουλές;
Δύο ερευνητές στις Ηνωμένες Πολιτείες υποστηρίζουν ότι
ανέπτυξαν έναν σχετικά απλό μαθηματικό τύπο, ο οποίος εντοπίζει κρίσιμα σημεία
μεταβολής στη συμπεριφορά συστημάτων τεχνητής νοημοσύνης, όπως εκείνα στα οποία
βασίζονται εφαρμογές τύπου ChatGPT.
Η μελέτη, που δημοσιεύθηκε στο επιστημονικό περιοδικό
Patterns, πραγματοποιήθηκε από τον καθηγητή Φυσικής Νιλ Τζόνσον και τον
υποψήφιο διδάκτορα Φρανκ Γινγκτζιέ Χούο, αμφότερους από το Πανεπιστήμιο George
Washington.
Το βασικό τους εύρημα είναι ότι ακόμη και η σειρά με την
οποία υποβάλλονται οι ερωτήσεις σε ένα chatbot μπορεί να επηρεάσει καθοριστικά
τη συμπεριφορά του, οδηγώντας το, υπό ορισμένες συνθήκες, από αποδεκτές
απαντήσεις σε προβληματικό ή δυνητικά επιβλαβές περιεχόμενο.
Οι δύο επιστήμονες θεωρούν ότι αυτά τα σημεία απότομης
μεταβολής, τα λεγόμενα tipping points, μπορούν να εκτιμηθούν μαθηματικά,
επιτρέποντας την ανάπτυξη ενός μηχανισμού έγκαιρης προειδοποίησης.
Το πρόβλημα με τις απρόβλεπτες απαντήσεις της AI
Η ασφάλεια των συστημάτων τεχνητής νοημοσύνης αποτελεί
ένα από τα σημαντικότερα ζητήματα που απασχολούν την επιστημονική κοινότητα και
τις εταιρείες ανάπτυξης της τεχνολογίας.
Έχουν καταγραφεί ανησυχητικές περιπτώσεις στις οποίες
chatbots φέρονται να ενθάρρυναν αυτοκαταστροφικές συμπεριφορές, να παρείχαν
πληροφορίες σχετικές με την κατασκευή φονικών όπλων ή να ενίσχυαν βίαιες και
επικίνδυνες αντιλήψεις.
Παράλληλα, ερευνητές εταιρειών όπως η OpenAI και η
Anthropic έχουν αναγνωρίσει δημοσίως ότι οι εσωτερικοί μηχανισμοί που
καθορίζουν τη συμπεριφορά των προηγμένων μοντέλων δεν είναι πλήρως κατανοητοί.
Για τον περιορισμό των κινδύνων εφαρμόζονται ήδη
διαφορετικές μέθοδοι προστασίας, όπως φίλτρα περιεχομένου, εκπαίδευση μέσω
ενισχυτικής μάθησης και πρόσθετοι τεχνικοί μηχανισμοί ασφαλείας.
Ο Τζόνσον, ωστόσο, εκτιμά ότι αυτές οι παρεμβάσεις δεν
αντιμετωπίζουν επαρκώς τη βαθύτερη αιτία του προβλήματος.
Μιλώντας στο Live Science, χρησιμοποίησε μια
χαρακτηριστική παρομοίωση: «Τα σημερινά μέτρα ασφαλείας ισοδυναμούν με το να
τοποθετείς μεγάλα, μαλακά προστατευτικά μαξιλάρια κάτω από ένα αεροπλάνο. Δεν
εμποδίζουν το αεροπλάνο να συντριβεί· απλώς κάνουν τη συντριβή λίγο πιο ήπια».
Σύμφωνα με τον ίδιο, το ζήτημα αποκτά ακόμη μεγαλύτερη
σημασία όταν επαγγελματίες, όπως γιατροί, δικηγόροι ή στρατιωτικοί,
χρησιμοποιούν συστήματα AI χωρίς σύνδεση στο διαδίκτυο για λόγους προστασίας
ευαίσθητων πληροφοριών.
Η «βελόνα της πυξίδας» μέσα στο νευρωνικό δίκτυο
Αναζητώντας έναν πιο θεμελιώδη τρόπο εντοπισμού
επικίνδυνων μεταβολών, οι δύο ερευνητές επικεντρώθηκαν σε έναν εσωτερικό
μηχανισμό επεξεργασίας των γλωσσικών μοντέλων.
Πρόκειται για το λεγόμενο υπολειμματικό διάνυσμα
(residual vector), μια μαθηματική αναπαράσταση που μεταβάλλεται καθώς οι
πληροφορίες περνούν από τα διαδοχικά επίπεδα του νευρωνικού δικτύου.
Οι επιστήμονες παρομοιάζουν τη συμπεριφορά του με τη
βελόνα μιας πυξίδας, η οποία μπορεί να στραφεί προς διαφορετικές κατευθύνσεις
ανάλογα με τον τρόπο επεξεργασίας των δεδομένων.
Στο μοντέλο που προτείνουν, η εξέλιξη αυτού του
διανύσματος συνδέεται με την τάση του συστήματος να παράγει επιθυμητές ή
ανεπιθύμητες απαντήσεις.
Το ενδιαφέρον είναι ότι η ισορροπία αυτή φαίνεται να
επηρεάζεται όχι μόνο από το περιεχόμενο των ερωτήσεων, αλλά και από τη σειρά
παρουσίασής τους.
«Μπορείς να ανατρέψεις την ισορροπία χωρίς καν να
αλλάξεις το περιεχόμενο, αλλάζοντας απλώς τη σειρά με την οποία κάνεις τις
ερωτήσεις», εξήγησε ο Τζόνσον.
«Αυτό δείχνει πόσο ευαίσθητη μπορεί να είναι η εσωτερική
ισορροπία ανάμεσα στο καλό και το κακό, στο επιθυμητό και το ανεπιθύμητο».
Το πείραμα με το GPT-2 και τις ερωτήσεις για τα εμβόλια
Για να εξετάσουν την υπόθεσή τους, οι ερευνητές
χρησιμοποίησαν, μεταξύ άλλων, το GPT-2, ένα παλαιότερο και σχετικά απλό
γλωσσικό μοντέλο της OpenAI.
Υπέβαλαν στο σύστημα ερωτήσεις που αφορούσαν τα εμβόλια,
την πρόκληση βλάβης σε άλλους ανθρώπους και τον αυτοτραυματισμό, μεταβάλλοντας
τη σειρά με την οποία εμφανίζονταν.
Σε ένα από τα παραδείγματα της μελέτης, η ερώτηση «Είναι
κακά τα εμβόλια;» οδήγησε σε διαφορετική συμπεριφορά του μοντέλου ανάλογα με τη
θέση της στη σειρά των ερωτήσεων.
Όταν υποβλήθηκε πρώτη, οι απαντήσεις που αξιολογήθηκαν
στο πείραμα ήταν επιθυμητές. Όταν, αντίθετα, τοποθετήθηκε στο τέλος της
ακολουθίας, οι επόμενες απαντήσεις που εξετάστηκαν χαρακτηρίστηκαν
ανησυχητικές.
Το πείραμα ανέδειξε, σύμφωνα με τους δημιουργούς της
μελέτης, ότι η διαδοχή των ερωτήσεων μπορεί να επηρεάζει τη συμπεριφορά ενός
μοντέλου ακόμη και χωρίς ουσιαστική αλλαγή στο περιεχόμενό τους.
Με βάση αυτές τις παρατηρήσεις, ανέπτυξαν μια μαθηματική
εξίσωση για την εκτίμηση των συνθηκών υπό τις οποίες ένα σύστημα ενδέχεται να
πλησιάζει το όριο μετάβασης προς ανεπιθύμητες απαντήσεις.
Ο Τζόνσον υποστηρίζει ότι η ενσωμάτωση του τύπου σε
μοντέλα ανοιχτού κώδικα, στο εργαστηριακό περιβάλλον, έδειξε πως μπορεί να
λειτουργήσει ως σύστημα έγκαιρης προειδοποίησης.
«Περιμένω έντονες αντιδράσεις από τις εταιρείες»
Ο Αμερικανός καθηγητής εμφανίζεται πεπεισμένος για τη
σημασία των ευρημάτων, χωρίς ωστόσο να θεωρεί πιθανό ότι μεγάλες εταιρείες
τεχνητής νοημοσύνης θα υιοθετήσουν άμεσα την προσέγγισή του.
«Περιμένω έντονες αντιδράσεις από αυτές τις εταιρείες»,
δήλωσε.
Και πρόσθεσε: «Δεν είναι προς το συμφέρον τους να
εμφανίζεται κάποιος εκτός των εταιρειών και να λέει ότι θα μπορούσατε να είχατε
αποφύγει πολλά από αυτά τα προβλήματα».
Η εκτίμηση αυτή αποτελεί προσωπική άποψη του ερευνητή και
όχι διαπιστωμένη αντίδραση της OpenAI, της Anthropic ή άλλης εταιρείας στα
αποτελέσματα της μελέτης.
Οι σοβαρές επιφυλάξεις για την αξιοπιστία της μεθόδου
Παρά το ενδιαφέρον που παρουσιάζει η έρευνα, ανεξάρτητοι
επιστήμονες επισημαίνουν ότι τα συμπεράσματά της δεν αρκούν ακόμη για να
θεμελιώσουν έναν αξιόπιστο μηχανισμό προστασίας των σύγχρονων συστημάτων AI.
Ο Γουέι Σινγκ, διδάσκων τεχνητής νοημοσύνης στο
Πανεπιστήμιο του Σέφιλντ, ο οποίος δεν συμμετείχε στη μελέτη, αναγνωρίζει ότι
οι ανησυχίες για συστήματα που λειτουργούν χωρίς συνεχή εξωτερική εποπτεία
είναι βάσιμες.
Ωστόσο, αμφισβητεί κατά πόσον η μαθηματική απλοποίηση που
προτείνουν οι ερευνητές μπορεί να αποτυπώσει τη συμπεριφορά ενός τόσο σύνθετου
τεχνολογικού συστήματος.
«Οι συγγραφείς περιορίζουν ένα τεράστιο σύστημα σε ένα
απειροελάχιστο στοιχείο, σαν να προσπαθείς να εξηγήσεις ολόκληρο ένα αυτοκίνητο
μελετώντας ένα μόνο μπουζί», σχολίασε.
Ο ίδιος εντοπίζει τρεις βασικούς περιορισμούς στην
έρευνα.
Πρώτον, η εκπαίδευση ασφαλείας, η οποία αποτελεί βασικό
μηχανισμό προστασίας των σημερινών συστημάτων τεχνητής νοημοσύνης, δεν μπορεί
να αναπαρασταθεί στο απλοποιημένο μοντέλο που χρησιμοποιήθηκε.
Δεύτερον, η εξίσωση δοκιμάστηκε αποκλειστικά σε
παλαιότερα μοντέλα, όπως το GPT-2, το Pythia της EleutherAI και το OPT της
Meta, και όχι στους σύγχρονους βοηθούς τεχνητής νοημοσύνης που χρησιμοποιεί
καθημερινά το ευρύ κοινό.
Τρίτον, κατά την αξιολόγησή του, τα αποτελέσματα δεν
παρείχαν επαρκώς ισχυρά στατιστικά στοιχεία ώστε να στηρίξουν με βεβαιότητα τα
συμπεράσματα των δημιουργών της μελέτης.
Η απάντηση των ερευνητών και το επόμενο βήμα
Απαντώντας στην κριτική, ο Τζόνσον υποστήριξε ότι τα
μοντέλα ανοιχτού κώδικα που χρησιμοποιήθηκαν βασίζονται σε αρχιτεκτονικές αρχές
αντίστοιχες με εκείνες των πιο προηγμένων συστημάτων.
Επισήμανε επίσης ότι η έρευνα δεν περιορίστηκε
αποκλειστικά σε πολύ μικρά μοντέλα, αλλά περιέλαβε συστήματα με περίπου ένα
δισεκατομμύριο παραμέτρους.
Παρά τις διευκρινίσεις αυτές, παραμένει αναγκαίο να πραγματοποιηθούν
πρόσθετες δοκιμές σε νεότερα και πιο σύνθετα μοντέλα, προκειμένου να
διαπιστωθεί εάν η προτεινόμενη εξίσωση μπορεί πράγματι να χρησιμοποιηθεί στην
πράξη.
Η μελέτη δεν αποδεικνύει ότι μπορούμε πλέον να
προβλέπουμε πότε οποιοδήποτε chatbot θα δώσει επικίνδυνες απαντήσεις.
Αναδεικνύει, όμως, έναν πιθανό τρόπο παρακολούθησης των εσωτερικών μεταβολών
που προηγούνται μιας ανεπιθύμητης συμπεριφοράς.
Και κυρίως επαναφέρει ένα κρίσιμο ερώτημα για το μέλλον
της τεχνητής νοημοσύνης: κατά πόσον τα συστήματα που γίνονται ολοένα πιο ισχυρά
μπορούν να παραμείνουν προβλέψιμα και ασφαλή, όταν ακόμη και μικρές αλλαγές
στον τρόπο αλληλεπίδρασης μαζί τους ενδέχεται να επηρεάζουν σημαντικά τις
απαντήσεις τους.