Όλοι θέλουμε να έχουμε καλύτερα αποτελέσματα χρησιμοποιώντας την ΤΝ (αυτός άλλωστε είναι και ο λόγος για τον οποίο την χρησιμοποιούμε) και όλοι ξέρουμε ότι για να το επιτύχουμε χρειάζεται να «μιλήσουμε» με σαφήνεια στην μηχανή.
Πως όμως θα δομήσουμε την σκέψη μας; Πως θα «στήσουμε» τις ερωτήσεις; Ποια στρατηγική σκέψης θα ακολουθήσουμε;
Το παραπάνω ζήτημα απασχόλησε ερευνητές από την Google DeepMind και το πανεπιστήμιο Princeton οι οποίοι ανέπτυξαν μία στρατηγική σκέψης, την οποία ονόμασαν Tree of thoughts, και χάρη σε αυτήν το prompting ανεβαίνει σε άλλο επίπεδο, ξεκλειδώνοντας πιο εξελιγμένους τρόπους συλλογιστικής και, φυσικά, καλύτερα αποτελέσματα.
Όπως λένε οι ίδιοι οι ερευνητές δείχνουν νέους τρόπους να λύσουν προβλήματα που χρειάζονται αναζήτηση και προγραμματισμό.
Η σύγκριση του Tree of thoughts με τρεις άλλους τρόπους προτροπής (prompting)
Οι τρεις βασικές μέθοδοι προτροπής είναι:
1.Input-Output
Σε αυτήν την μέθοδο, η οποία είναι και η απλούστερη, βάζουμε το πρόβλημα και παραλαμβάνουμε το αποτέλεσμα. Ένα χαρακτηριστικό παράδειγμα αυτής της μεθόδου θα ήταν το να ζητήσουμε την περίληψη ενός άρθρου.
2.Chain Of Thought Prompting
Σε αυτήν την μορφή προτροπής έχουμε ένα γλωσσικό μοντέλο που καθοδηγείται ώστε να παράξει συνεκτικές και συνδεδεμένες απαντήσεις, ενθαρρύνοντάς το να ακολουθήσει μία λογική ακολουθία σκέψης. Παρέχοντας ουσιαστικά όλα τα ενδιάμεσα βήματα σκέψης μέχρι να δοθεί η απάντηση στο πρόβλημα. Η μέθοδος μπορεί να λειτουργήσει σε περιπτώσεις κλασσικών αριθμητικών προβλημάτων όπως για παράδειγμα: έχω 50 πορτοκάλια. Πόσα πορτοκάλια θα έχω αν στύψω τα 35 και αγοράσω επιπλέον 10;
3.Self-consistency with Chain of Thought
Η μέθοδος αυτή ουσιαστικά έχει να κάνει με την προτροπή του μοντέλου πολλές, διαδοχικές φορές και στην συνέχεια επιλέγοντας την απάντηση που έχει δοθεί τις περισσότερες φορές.
Μοντέλα διπλής διαδικασίας στην ανθρώπινη σκέψη
Η αφετηρία για τους ερευνητές ήταν ο τρόπος με τον οποίο οι άνθρωποι λειτουργούν για να πάρουν αποφάσεις, μια διαδικασία η οποία ονομάζεται θεωρία διπλής διαδικασίας.
Αυτή η θεωρία μάς λέει ότι οι άνθρωποι έχουν δύο είδη διαδικασιών απόφασης. Η μία είναι αυθόρμητη και γρήγορη και μία που είναι πιο αργή και λειτουργεί κατόπιν ανάγκης.
Η πρώτη βασίζεται στο ένστικτο και είναι γρήγορη, αυτόματη και ασυνείδητη.
Η δεύτερη είναι μία αργή, συνειδητή και επιτηδευμένη διαδικασία. Απαιτεί ανάλυση, προσεκτική θεώρηση και συλλογισμό βήμα-βήμα πριν ληφθεί μία τελική απόφαση.
Το μοντέλο «δέντρο της σκέψης» (The Tree of Thoughts, ToT) είναι ένα πλαίσιο προτροπής που ακολουθεί την δομή ενός δέντρο σε κάθε βήμα της συλλογιστικής διαδικασίας και ελέγχει κάθε βήμα για το αν είναι χρήσιμη και αν οδηγεί σε κάποια απάντηση. Αν το μοντέλο σκέψης αποφασίσει ότι το μονοπάτι της σκέψης δεν οδηγεί σε απάντηση τότε αυτό εγκαταλείπεται και το μοντέλο οδηγείται σε άλλο μέχρις ότου να φτάσει στο τελικό αποτέλεσμα.
Πηγή εικόνας: eztexting.com
Ποια η διαφορά του Tree Of Thoughts (ToT) από το Chain of Thoughts (CoT)
Η βασική διαφορά τους είναι το πρώτο λειτουργεί με δομή δέντρου, δηλαδή έχει διακλαδώσεις ενώ το δεύτερο είναι γραμμικό, δηλαδή κινείται σειριακά.
Με άλλα λόγια το μοντέλο CoT λέει στο γλωσσικό μοντέλο να ακολουθήσει μία αλληλουχία βημάτων για να ολοκληρώσει ένα έργο, κάτι που θυμίζει το γρήγορο και αυτόματο μοντέλο σκέψης.
Το μοντέλο ToT μοιάζει περισσότερο με το δεύτερο πλαίσιο σκέψης που είναι πιο επιτηδευμένο και λέει στο γλωσσικό μοντέλο να ακολουθήσει μία αλληλουχία βημάτων παρεμβάλλοντας ένα σημείο ελέγχου σε κάθε βήμα ώστε να το απορρίπτει και να ακολουθεί ένα άλλο(αν δεν είναι κατάλληλο) ή να το κρατά και να συνεχίζει (αν είναι κατάλληλο).
Αυτό σχηματικά μπορεί να αποδοθεί ως εξής:
Tree of thoughts
Chain of thought
Screenshot από Searchenginejournal.com
Μία συγκεντρωτική αποτύπωση όλων των παραπάνω μοντέλων θα ήταν :
Πηγή εικόνας: promptingguide.ai
Η έρευνα εξηγεί:
Ο ανθρώπινος τρόπος επίλυσης προβλημάτων λειτουργεί συνδυαστικά, εξ’ ου και το δέντρο, όπου κάθε διακλάδωση αποτελεί μία πιθανή λύση και κάθε κλαδί αντιστοιχεί στους παράγοντες που επηρεάζουν την απόφαση.
Στα γλωσσικά μοντέλα προτροπής που υπάρχουν παρουσιάζονται δύο βασικές αδυναμίες σε ότι αφορά την επίλυση γενικών προβλημάτων:
1) δεν εξερευνούν διαφορετικές συνέχειες μέσα σε μια διαδικασία σκέψης, δηλαδή τα επιμέρους κλαδιά του δέντρου.
2) δεν ενσωματώνουν κανένα είδος προγραμματισμού, μελλοντικής ή σκέψης προς τα πίσω για να βοηθήσουν στην αξιολόγηση αυτών των διαφορετικών επιλογών, και κυρίως το κομμάτι της καθοδηγούμενης αναζήτησης που αποτελεί χαρακτηριστικό τρόπο της ανθρώπινης επίλυσης προβλημάτων.
Παράδειγμα και δοκιμή με ένα μαθηματικό πρόβλημα
Οι ερευνητές προχώρησαν στην δοκιμή της μεθόδου χρησιμοποιώντας ένα μαθηματικό πρόβλημα, το παιχνίδι των 24. Το παιχνίδι αυτό είναι ένα μαθηματικό παιχνίδι με κάρτες στο οποίο οι παίκτες χρησιμοποιούν τέσσερις μόνο αριθμούς ο καθένας από ένα σετ καρτών και προσπαθούν να τους συνδυάσουν κάνοντας τις βασικές αριθμητικές πράξεις (πρόσθεση, αφαίρεση, πολλαπλασιασμό, διαίρεση) για να φτάσουν στο αποτέλεσμα 24. Ας το δούμε πιο αναλυτικά.
Έστω ότι δίνονται οι αριθμοί 4 9 10 13 και ότι, όπως γράψαμε παραπάνω, πρέπει να φτάσουμε στο 24 χρησιμοποιώντας κάθε αριθμό μία μόνο φορά και μόνο τις βασικές αριθμητικές πράξεις.
Πως θα έλυνε το πρόβλημα ένας άνθρωπος. Θα «έπαιζε» με τους αριθμούς μέχρι να βρει τη λύση. Ακριβώς αυτό κάνει και το μοντέλο ToT. «Παίζει» με τους αριθμούς και σε κάθε στάδιο ελέγχει αν το αποτέλεσμα που παράγεται οδηγεί στο επιθυμητό. Για καλύτερη κατανόηση ρίξτε μια ματιά στην παρακάτω εικόνα:
Πηγή εικόνας: blog.gopenai.com
Στην εικόνα φαίνονται καθαρά όλα τα μονοπάτια σκέψης (και πράξεων) που οδηγούν ή δεν οδηγούν κάπου. Όταν μία κατεύθυνση δεν οδηγεί κάπου, απορρίπτεται και ακολουθείται μία άλλη, κ.ο.κ.
Αποτέλεσμα και συμπεράσματα
Στο πλαίσιο της έρευνας με το παραπάνω παιχνίδι, δοκιμάστηκαν όλα τα μοντέλα προτροπής και τελικά αυτό που είχε τα καλύτερα αποτελέσματα ήταν το ToT. Παρατήρησαν ωστόσο ότι η χρήση του εν λόγω μοντέλου σε προβλήματα που ήδη λύνει το GPT-4 με αποτελεσματικό τρόπο είναι μάλλον περιττή.
Και έτσι καταλήγουν στο ότι ένας συνδυασμός των μοντέλων θα ήταν η βέλτιστη λύση, διότι το πλαίσιο Tree of Thoughts παρέχει έναν τρόπο να μεταφραστούν οι κλασικές γνώσεις σχετικά με την επίλυση προβλημάτων σε αποτελεσματικές μεθόδους για τα σύγχρονα γλωσσικά μοντέλα, ενώ ταυτόχρονα, τα γλωσσικά μοντέλα αντιμετωπίζουν μια αδυναμία των κλασικών μεθόδων, παρέχοντας έναν τρόπο επίλυσης σύνθετων προβλημάτων που δεν τυποποιούνται εύκολα, όπως για παράδειγμα η δημιουργική γραφή.
Πηγή εικόνας προφίλ:medium.com
