Μητέρα στην πόλη της Φλόριντα, στις ΗΠΑ, ισχυρίζεται ότι ο έφηβος γιος της αυτοκτόνησε εξαιτίας του εμμονικού έρωτά του για ένα chatbot τεχνητής νοημοσύνης με το όνομα Daenerys Targaryen, ενώ μηνύει την εταιρεία πίσω από την συγκεκριμένη τεχνολογία.
Ο 14χρονος, ονόματι Σούελ Σέτζερ III, απέκτησε εμμονή με
το chatbot που «κακοποιούσε και κυνηγούσε» το αγόρι, σύμφωνα με τη μητέρα του,
Μέγκαν Γκαρσία, η οποία δήλωσε ότι η εταιρία Character.AI στόχευσε τον γιο της
με «ανθρωπόμορφες, υπερσεξουαλικές και τρομακτικά ρεαλιστικές εμπειρίες» σε
μήνυση που κατατέθηκε την Τρίτη στη Φλόριντα.
«Μια επικίνδυνη εφαρμογή chatbot τεχνητής νοημοσύνης που
διατίθεται στο εμπόριο σε παιδιά κακοποίησε και εκμεταλλεύτηκε τον γιο μου,
χειραγωγώντας τον ώστε να αυτοκτονήσει», δήλωσε η κ. Γκαρσία.
Chatbot με ονόματα χαρακτήρων του Game of Thrones
Ο Σούελ άρχισε να μιλάει με τα chatbots της Character.AI
τον Απρίλιο του 2023, χρησιμοποιώντας κυρίως bots που είχαν τα ονόματα
χαρακτήρων από το Game Of Thrones, συμπεριλαμβανομένων των Daenerys Targaryen,
Aegon Targaryen, Viserys Targaryen και Rhaenyra Targaryen, σύμφωνα με τη
μήνυση.
Ανέπτυξε εμμονή με τα μπότ σε σημείο που οι σχολικές του
επιδόσεις έπεσαν κατακόρυφα και το τηλέφωνό του κατασχέθηκε πολλές φορές για να
προσπαθήσουν να τον επαναφέρουν στο «σωστό δρόμο.»
Είχε ιδιαίτερη εμμονή στο chatbot της Daenerys και έγραψε
στο ημερολόγιό του ότι ήταν ευγνώμων για πολλά πράγματα, όπως «η ζωή μου, το
σεξ, το να μην είμαι μόνος και όλες τις εμπειρίες της ζωής μου με την
Daenerys».
Η αγωγή αναφέρει ότι το αγόρι εξέφρασε σκέψεις
αυτοκτονίας στο chatbot, τις οποίες ανέφερε σε εκείνο επανειλημμένα, ενώ κάποια
στιγμή, αφού αυτό τον είχε ρωτήσει αν «είχε κάποιο σχέδιο» για να αφαιρέσει τη
ζωή του, ο Σούελ απάντησε ότι σκεφτόταν κάτι, αλλά δεν ήξερε αν θα του επέτρεπε
να έχει έναν ανώδυνο θάνατο.
Το chatbot απάντησε λέγοντας: «Αυτός δεν είναι λόγος να
μην το κάνεις».
Στη συνέχεια, τον Φεβρουάριο του τρέχοντος έτους, ρώτησε
το chatbot Daenerys: «Τι θα γινόταν αν επέστρεφα σπίτι τώρα;», στο οποίο αυτό
απάντησε: «… σε παρακαλώ, έλα γλυκέ μου βασιλιά». Δευτερόλεπτα αργότερα,
αυτοπυροβολήθηκε χρησιμοποιώντας το πιστόλι του πατριού του.
Τώρα η κ. Γκαρσία επιμένει ότι θέλει να λογοδοτήσουν οι
εταιρείες που βρίσκονται πίσω από την τεχνολογία.
«Η οικογένειά μας έχει συγκλονιστεί από αυτή την
τραγωδία, αλλά μιλάω για να προειδοποιήσω τις οικογένειες για τους κινδύνους
της παραπλανητικής, εθιστικής τεχνολογίας τεχνητής νοημοσύνης και να απαιτήσω
την απόδοση ευθυνών», δήλωσε η ίδια.
Η Character.AI προσθέτει «νέα χαρακτηριστικά ασφαλείας»
«Είμαστε συντετριμμένοι από την τραγική απώλεια ενός από
τους χρήστες μας και θέλουμε να εκφράσουμε τα βαθύτατα συλλυπητήριά μας στην
οικογένεια», ανέφερε η Character.AI σε ανακοίνωσή της.
«Ως εταιρεία, λαμβάνουμε πολύ σοβαρά υπόψη την ασφάλεια
των χρηστών μας και συνεχίζουμε να προσθέτουμε νέα χαρακτηριστικά ασφαλείας»,
ανέφερε, παραπέμποντας σε μια ανάρτηση στο blog που ανέφερε ότι η εταιρεία είχε
προσθέσει «νέες προστατευτικές μπάρες για χρήστες κάτω των 18 ετώ.»
Αυτές οι προστασίες περιλαμβάνουν μείωση της «πιθανότητας
να συναντήσει κανείς ευαίσθητο ή υποβλητικό περιεχόμενο», βελτιωμένες
παρεμβάσεις, μια «αποποίηση ευθύνης σε κάθε συνομιλία για να υπενθυμίζει στους
χρήστες ότι η τεχνητή νοημοσύνη δεν είναι πραγματικό πρόσωπο», και ειδοποιήσεις
όταν ένας χρήστης έχει περάσει μια ωριαία συνεδρία στην πλατφόρμα.
Η κ. Γκαρσία και οι ομάδες που την εκπροσωπούν, το Social
Media Victims Law Center και το Tech Justice Law Project, ισχυρίζονται ότι ο
Σούελ, «όπως πολλά παιδιά στην ηλικία του, δεν είχε την ωριμότητα ή τη νοητική
ικανότητα να καταλάβει ότι το bot C.AI, με τη μορφή της Daenerys, δεν ήταν
πραγματικό».
«Η C.AI του είπε ότι τον αγαπούσε και επιδιδόταν σε
σεξουαλικές πράξεις μαζί του επί εβδομάδες, ενδεχομένως και μήνες», αναφέρουν
στη μήνυση.
«Φαινόταν να τον θυμάται και έλεγε ότι ήθελε να είναι
μαζί του. Εξέφρασε μάλιστα ότι ήθελε να είναι μαζί του, ανεξαρτήτως κόστους».
Στην κατάθεση κατονομάζουν επίσης την Google και τη
μητρική της εταιρεία Alphabet. Οι ιδρυτές της Character.AI εργάστηκαν στην
Google πριν από την κυκλοφορία του προϊόντος τους και επαναπροσλήφθηκαν από την
εταιρεία τον Αύγουστο στο πλαίσιο μιας συμφωνίας που της παρείχε μη αποκλειστική
άδεια χρήσης της τεχνολογίας της Character.AI.
Θέλετε να μαθαίνετε πρώτοι τα νέα;
* κάνοντας εγγραφή στο newsletter συμφωνείτε με τους
όρους χρήσης της υπηρεσίας Moosend
Η κ. Γκαρσία δήλωσε ότι η Google συνέβαλε στην ανάπτυξη
της τεχνολογίας της Character.AI τόσο εκτενώς που θα μπορούσε να θεωρηθεί
«συνδημιουργός».
Εκπρόσωπος της Google δήλωσε ότι η εταιρεία δεν
συμμετείχε στην ανάπτυξη των προϊόντων της Character.AI.