Η Εξήγηση της Τεμαχισμένης Μορφής: Από τους Τεμαχιστές στα Εξόδους

Πριν από το να μπορέσει ένα μεγάλο γλωσσικό μοντέλο να παραγάγει οτιδήποτε χρήσιμο, πρέπει πρώτα να κάνει κάτι πολύ πιο απλό: να σπάσει το κείμενό σας.

Αυτή η διαδικασία ονομάζεται τεμαχισμένη μορφή και είναι ένα από τα πιο σημαντικά, και πιο παραμελημένα, κομμάτια του πώς λειτουργούν τα σύγχρονα συστήματα AI.

Οι περισσότεροι άνθρωποι πιστεύουν ότι τα μοντέλα διαβάζουν λέξεις. Δεν το κάνουν.

Διαβάζουν τεμαχιστές: μικρά κομμάτια κειμένου που μπορούν να αντιπροσωπεύουν ολόκληρες λέξεις, μέρη λέξεων, διαλείμματα, κενά ή ακόμη και μεμονωμένα σύμβολα. Αυτοί οι τεμαχιστές μετατρέπονται στη συνέχεια σε αριθμητικούς προσδιοριστές που το μοντέλο μπορεί να επεξεργαστεί εσωτερικά.

Η κατανόηση της τεμαχισμένης μορφής βοηθάει στην εξήγηση πολλών πραγμάτων:

• γιατί οι προτροπές κοστίζουν χρήματα
• γιατί τα παράθυρα περιεχομένου έχουν όρια
• γιατί ορισμένες γλώσσες είναι πιο ακριβές από άλλες
• γιατί τα μοντέλα μερικές φορές συμπεριφέρονται με παράξενο τρόπο

Η τεμαχισμένη μορφή βρίσκεται στην αρχή της διαδικασίας AI, και διαμορφώνει σιωπηλά όλα όσα έρχονται μετά.

Τι είναι ένας τεμαχιστής;

Ένας τεμαχιστής είναι η μικρότερη μονάδα κειμένου με την οποία εργάζεται ένα μοντέλο.

Δεν είναι πάντα το ίδιο με μια λέξη.

Για παράδειγμα:

Αυτό έχει σημασία διότι τα μοντέλα μετράνε τεμαχιστές, όχι λέξεις.

Μια πρόταση με μικρή εμφάνιση μπορεί να χρησιμοποιεί περισσότερους τεμαχιστές από ότι αναμενόταν, ιδιαίτερα με ασυνήθιστες λέξεις, κώδικα, emojis ή γλώσσες που δεν είναι στα Αγγλικά.

Πώς λειτουργεί η τεμαχισμένη μορφή

Σε υψηλό επίπεδο, η τεμαχισμένη μορφή ακολουθεί μια απλή διαδικασία.

Βήμα 1: Σπάστε το κείμενο

Ο τεμαχιστής σπάει το ακατέργαστο κείμενο σε κομμάτια βάσει των κανόνων λεξιλογίου του.

Τα σύγχρονα LLMs συνήθως βασίζονται σε τεμαχισμένη μορφή υπολέξεων, όχι σε τεμαχισμένη μορφή πλήρων λέξεων.

Αυτό τους παρέχει την ευελιξία να διαχειρίζονται:

• σπάνιες λέξεις
• τυπογραφικά λάθη
• ονόματα
• πολύγλωσσο περιεχόμενο
• κώδικα

Βήμα 2: Μετατροπή τεμαχιστών σε ID

Κάθε τεμαχιστής αντιστοιχεί σε έναν αριθμό μέσα στο λεξιλόγιο του μοντέλου.

Παράδειγμα:

Το μοντέλο ποτέ δεν "βλέπει" το κείμενο απευθείας. Βλέπει μόνο αυτές τις αριθμητικές αναπαραστάσεις.

Αυτός είναι ο σύνδεσμος μεταξύ της ανθρώπινης γλώσσας και της νευρωνικής υπολογιστικής.

Βήμα 3: Μετατροπή ID σε ενσωματώσεις

Αφού δημιουργηθούν τα ID τεμαχιστών, μετατρέπονται σε ενσωματώσεις διανυσμάτων.

Εδώ αρχίζει να αναδύεται η έννοια.

Σε αυτό το σημείο:

• παρόμοιοι τεμαχιστές μπορούν να καταλαμβάνουν κοντινές θέσεις στο διανυσματικό χώρο
• οι σχέσεις μεταξύ εννοιών γίνονται μετρήσιμες
• το πλαίσιο αρχίζει να έχει σημασία

Η τεμαχισμένη μορφή φέρνει τα δεδομένα στο σύστημα. Οι ενσωματώσεις τα καθιστούν ερμηνεύσιμα.

Γιατί η τεμαχισμένη μορφή υπολέξεων έγινε πρότυπο

Παλαιότερα συστήματα NLP συχνά χώριζαν το κείμενο στα λόγια.

Αυτό δούλεψε, μέχρι που βρήκαν λέξεις που δεν είχαν ξαναδεί.

Τα σύγχρονα LLMs χρησιμοποιούν συνήθως μεθόδους όπως Byte Pair Encoding (BPE) ή παρόμοιες στρατηγικές υπολέξεων.

Η BPE λειτουργεί συνενώνοντας επανειλημμένα συχνές διατάξεις χαρακτήρων σε επαναχρησιμοποιούμενες μονάδες. Αυτό βελτιώνει την συμπίεση και την αποδοτικότητα του λεξιλογίου.

Γιατί τα υπολέγκα μοντέλα είναι καλύτερα

Γι’ αυτό τα περισσότερα σύγχρονα μοντέλα χρησιμοποιούν κάποια εκδοχή της τεμαχισμένης μορφής υπολέξεων.

Γιατί η τεμαχισμένη μορφή επηρεάζει το κόστος

Εδώ είναι όπου η τεμαχισμένη μορφή γίνεται πρακτική.

Οι περισσότερες AI API χρεώνουν βάσει:

• των εισερχόμενων τεμαχιστών
• των εξερχόμενων τεμαχιστών

Αυτό σημαίνει ότι η τεμαχισμένη μορφή επηρεάζει άμεσα την τιμή.

Για παράδειγμα:

Δύο προτροπές με την ίδια μέτρηση χαρακτήρων μπορεί να έχουν πολύ διαφορετικούς αριθμούς τεμαχιστών.

Αυτό είναι ένας από τους πιο κοινούς κρυφούς οδηγούς κόστους σε παραγωγικά συστήματα AI.

Γιατί η τεμαχισμένη μορφή επηρεάζει τη συμπεριφορά του μοντέλου

Η τεμαχισμένη μορφή εξηγεί επίσης πολλές "παράξενες" συμπεριφορές μοντέλου.

Για παράδειγμα:

• γιατί τα μοντέλα δυσκολεύονται με την καταμέτρηση γραμμάτων
• γιατί οι σπάνιες λέξεις συμπεριφέρονται απρόβλεπτα
• γιατί οι αλλαγές μορφοποίησης μπορεί να επηρεάσουν τα εξοδικά
• γιατί η σειρά των προτροπών έχει σημασία

Ένα μοντέλο δεν σκέφτεται σε γράμματα ή γραμματική όπως οι άνθρωποι. Προβλέπει ακολουθίες τεμαχιστών.

Αυτή η διαφορά δημιουργεί πολλές από τις ιδιορρυθμίες που παρατηρούν οι χρήστες.

Οι συζητήσεις της κοινότητας συχνά αναφέρονται στη δομή των τεμαχιστών ως έναν λόγο που τα μοντέλα αποτυγχάνουν στη λογική επιπέδου χαρακτήρα.

Οι τεμαχιστές γίνονται εξόδοι

Αφού γίνει η τεμαχισμένη μορφή της εισόδου:

1. Οι τεμαχιστές πηγαίνουν στον μετασχηματιστή
2. Το μοντέλο προβλέπει τον επόμενο τεμαχιστή
3. Αυτός ο τεμαχιστής προστίθεται
4. Η διαδικασία επαναλαμβάνεται

Αυτό συνεχίζεται μέχρι να:

• εμφανιστεί ένας τεμαχιστής διακοπής
• φτάσει το όριο των τεμαχιστών
• το σύστημα διακόψει την παραγωγή

Αυτό σημαίνει ότι η παραγωγή AI είναι θεμελιωδώς ένας κύκλος πρόβλεψης τεμαχιστή-ανά-τεμαχιστή, όχι λογική επιπέδου πρότασης.

Τελική παρατήρηση

Η τεμαχισμένη μορφή φαίνεται σαν μια μικρή τεχνική λεπτομέρεια, αλλά διαμορφώνει σχεδόν τα πάντα στα σύγχρονα συστήματα LLM.

Επηρεάζει:

• κόστος
• ταχύτητα
• όρια πλαισίου
• πολύγλωσση απόδοση
• συμπεριφορά μοντέλου
• ποιότητα εξόδου

Αν χτίζετε με AI, η κατανόηση της τεμαχισμένης μορφής σας δίνει μια πολύ καλύτερη διαίσθηση για το γιατί τα συστήματα συμπεριφέρονται με τον τρόπο που κάνουν.

Πριν υπάρχουν ενσωματώσεις, μετασχηματιστές ή έξοδοι, υπάρχουν τεμαχιστές.

Και όλα ξεκινούν από εκεί.

Προσεκτικός σχεδιασμός προτροπών, επιλογές λεξιλογίου και προϋπολογισμός τεμαχιστών βοηθούν να διασφαλιστεί ότι η χρήση και ο αριθμός τεμαχιστών σας ευθυγραμμίζονται με τους στόχους κόστους και ποιότητας σας. Μια τέτοια προσέγγιση αποφέρει λιγότερες αναπάντεχες ολοκληρώσεις, χαμηλότερο κόστος API και μοντέλα που κατανοούν καλύτερα τον τρόπο που γράφουν οι χρήστες σας.