Το ChatGpt είναι καλύτερο από τους γιατρούς στη διάγνωση αναπνευστικών παθήσεων

Ερευνητές στο Ηνωμένο Βασίλειο παρατήρησαν ότι το chatbot ChatGPT είχε καλύτερες επιδόσεις στην αξιολόγηση πολύπλοκων περιπτώσεων αναπνευστικών ασθενειών σε παιδιά από τους εκπαιδευόμενους γιατρούς.

Η ανάλυση άλλων κοινών chatbots διαπίστωσε επίσης ότι το Bard της Google είχε καλύτερες επιδόσεις μόνο σε ορισμένες πτυχές, ενώ το Bing της Microsoft είχε εξίσου καλή απόδοση στους εκπαιδευόμενους.

Τι ανακάλυψαν οι ερευνητές

Σύμφωνα με το News247, η έρευνα υποδηλώνει ότι αυτά τα μεγάλα ψηφιακά μοντέλα (LLM) θα μπορούσαν να χρησιμοποιηθούν για να υποστηρίξουν τους ειδικευόμενους γιατρούς, νοσηλευτές και γενικούς ιατρούς, για να κάνουν καλύτερη και ταχύτερη διαλογή σε ασθενείς και σύμφωνα με τα συμπτώματα και να μειώσουν την πίεση στις υπηρεσίες υγείας.

Η μελέτη παρουσιάστηκε από τον δρ Manjith Narayanan, σύμβουλο παιδιατρικής πνευμονολογίας στο Royal Hospital for Children and Young People του Εδιμβούργου και επίτιμο ανώτερο κλινικό λέκτορα στο Πανεπιστήμιο του Εδιμβούργου.

Ο ίδιος δήλωσε ότι:

η ΑΙ, όπως το ChatGPT, έχουν έρθει στο προσκήνιο τον τελευταίο ενάμιση χρόνο με την ικανότητά τους να κατανοούν φαινομενικά τη φυσική γλώσσα και να παρέχουν απαντήσεις που μπορούν να προσομοιώσουν επαρκώς μια συζήτηση που μοιάζει με ανθρώπινη. Τα εργαλεία αυτά έχουν αρκετές πιθανές εφαρμογές και στην ιατρική. Το κίνητρό μου για την πραγματοποίηση αυτής της έρευνας ήταν να αξιολογήσω πόσο καλά τα LLM είναι σε θέση να βοηθήσουν τους κλινικούς γιατρούς στην πραγματική ζωή.

Για να το διερευνήσει αυτό, ο δρ Narayanan χρησιμοποίησε κλινικά σενάρια που συμβαίνουν συχνά στην παιδιατρική και συγκεκριμένα σε παθήσεις του αναπνευστικού.

Τα σενάρια δόθηκαν από έξι ειδικούς στην παιδιατρική πνευμονολογία και κάλυπταν θέματα όπως η κυστική ίνωση, το άσθμα, η υπνική άπνοια, η δύσπνοια και οι λοιμώξεις του κατώτερου αναπνευστικού.

Σε όλα σενάρια δεν υπάρχει προφανής διάγνωση και δεν υπήρχαν δημοσιευμένα στοιχεία, κατευθυντήριες οδηγίες ή συναίνεση των εμπειρογνωμόνων που να υποδεικνύουν μια συγκεκριμένη διάγνωση.

Δέκα ειδικευόμενοι γιατροί που είχαν λιγότερο από τέσσερις μήνες κλινικής εμπειρίας στην παιδιατρική, είχαν στη διάθεσή τους μια ώρα για να χρησιμοποιήσουν το διαδίκτυο, αλλά όχι κάποιο σύστημα ΑΙ, για να λύσουν κάθε σενάριο, με μια περιγραφική απάντηση 200 έως 400 λέξεων.

Πώς βαθμολογήθηκαν οι απαντήσεις

Κάθε σενάριο παρουσιάστηκε επίσης στα τρία συστήματα ΑΙ.

Όλες οι απαντήσεις βαθμολογήθηκαν από έξι ειδικούς στην παιδιατρική πνευμονολογία για την ορθότητα, την πληρότητα, τη χρησιμότητα, την αληθοφάνεια και τη συνοχή τους.

Τους ζητήθηκε επίσης να δηλώσουν αν θεωρούσαν ότι κάθε απάντηση είχε παραχθεί από άνθρωπο ή από σύστημα ΑΙ και να δώσουν σε κάθε απάντηση συνολική βαθμολογία με άριστα τους εννέα βαθμούς.

Οι λύσεις που παρείχε η έκδοση 3.5 του ChatGPT συγκέντρωσαν κατά μέσο όρο επτά στα εννέα και συνολικά και θεωρήθηκαν πιο ανθρώπινες από τις απαντήσεις των άλλων συστημάτων ΑΙ.

Το Gemini σημείωσε κατά μέσο όρο έξι στα εννέα και αξιολογήθηκε ως πιο «συνεκτικό» από τους ειδικευόμενους, αλλά από άλλες απόψεις δεν ήταν καλύτερο ή χειρότερο από τους ειδικευόμενους.

Το Bing σημείωσε κατά μέσο όρο τέσσερα στα εννέα, το ίδιο με τους ειδικευόμενους γιατρούς.

«Πρόκειται για την πρώτη μελέτη που συγκρίνει την ΑΙ με ειδικευόμενους γιατρούς που αντικατοπτρίζουν την πραγματική κλινική πρακτική. Το κάναμε αυτό επιτρέποντας στους ειδικευόμενους να έχουν πλήρη πρόσβαση σε πόρους που είναι διαθέσιμοι στο διαδίκτυο, όπως θα έκαναν και στην πραγματική ζωή. Αυτό απομακρύνει την εστίαση από τον έλεγχο της μνήμης, όπου υπάρχει σαφές πλεονέκτημα για την ΑΙ. Ως εκ τούτου, η μελέτη μας δείχνει έναν άλλο τρόπο με τον οποίο θα μπορούσαμε να χρησιμοποιούμε την ΑΙ και επίσης πόσο κοντά βρισκόμαστε στην κανονική καθημερινή κλινική εφαρμογή της», συμπληρώνει ο Narayanan.