Ιδιωτική Ανάπτυξη LLM: Χρήσιμη RAG για Επιχειρήσεις

Μια ιδιωτική ανάπτυξη LLM με γεννήτρια ενισχυμένης ανάκτησης παρέχει ελέγξιμες, ακριβείς απαντήσεις κατά τομέα, διατηρώντας τα δεδομένα μέσα στο περιβάλλον σας. Αυτός ο οδηγός παρέχει στις ομάδες μηχανικών και προϊόντων μια συμπαγή, πρακτική διαδρομή από την επιλογή μοντέλου μέσω ενός ασφαλούς αγωγού RAG, εκτίμησης και ενός ελάχιστου παραγωγικού σχεδίου.

Επιλέξτε μοντέλο και ενσωματώσεις με περιορισμούς

Διαλέξτε ένα μοντέλο που να ταιριάζει στους περιορισμούς καθυστέρησης, κόστους και άδειας χρήσης σας. Πρόσφατες λίστες ανοιχτού βάρους, όπως το Leafy.dev και το PocketLLM, δείχνουν ένα ευρύ φάσμα από μικρά μοντέλα 7B έως οικογένειες 70B. Τα μικρότερα μοντέλα μειώνουν το κόστος φιλοξενίας και καθιστούν δυνατή την πρακτική εκτίμηση on-premise, ενώ τα μεγαλύτερα μοντέλα βελτιώνουν τη λογική αμέσου χρήσης. Χρησιμοποιήστε τον ίδιο προμηθευτή ή ένα μοντέλο ενσωμάτωσης συμβατό με L2 τόσο για την ευρετηρίαση όσο και για την εκτέλεση, ώστε να αποφύγετε την εκτροπή των διανυσμάτων. Παρατηρήσαμε ότι η προεπεξεργασία των ενσωματώσεων για στατικά έγγραφα μειώνει την καθυστέρηση ερωτήσεων κατά περίπου το χρόνο μιας μόνο προώθησης και απλοποιεί τις αναδρομές.

Ασφαλείς αποθήκες διανυσμάτων και τεχνικές ιδιωτικότητας

Για πολλές ομάδες κάτω από 5 εκατομμύρια διανύσματα, η ενσωματωμένη Postgres με pgvector είναι μια λειτουργικά απλή προεπιλογή, ενώ οι διαχειριζόμενες υπηρεσίες όπως οι Pinecone, Weaviate και Milvus ανταλλάσσουν χαμηλότερες λειτουργίες με υψηλότερο κόστος και ειδικά χαρακτηριστικά. Οι αναφορές Inductivee και Tensoria συζητούν τις διαφορές απόδοσης και κόστους για σύνολα δεδομένων διανυσμάτων 1M έως 100M και δείχνουν ότι η επιλογή εξαρτάται από το μέγεθος των διανυσμάτων, το QPS και αν χρειάζεστε αναπαραγωγή πολλαπλών περιοχών.

Κρυπτογραφήστε τα διανύσματα όταν είναι αδρανή και χρησιμοποιήστε κρυπτογράφηση φάκελου για τα κλειδιά. Εφαρμόστε αυστηρό IAM στην αποθήκη διανυσμάτων και απαιτήστε mTLS για όλες τις συνδέσεις υπηρεσιών. Για καθοδήγηση σχετικά με τη μοντελοποίηση απειλών και την ομάδα κόκκινου, συμβουλευτείτε το εγχειρίδιο ασφαλείας LLM μας LLM security playbook. Αν χρειάζεστε νομικές εγγυήσεις ιδιωτικότητας, ανασκοπήστε τις επιλογές διαφοροποιημένης ιδιωτικότητας και ασφαλούς συγκέντρωσης στο δικό μας εγχειρίδιο differential privacy techniques.

Ένα ζήτημα που συναντήσαμε στην πράξη είναι οι κακώς ρυθμισμένοι λογαριασμοί υπηρεσιών που εκθέτουν μεταδεδομένα διανυσμάτων. Αντιμετωπίστε τα μεταδεδομένα ως υψηλής ευαισθησίας και κλειδώστε τα πίσω από τους ίδιους ελέγχους όπως τα διανύσματα.

Μετρήστε σχετικότητα, ψευδαισθήσεις, καθυστέρηση και κόστος

Χρησιμοποιήστε μετρικές ανάκτησης όπως Hit@k, MRR και NDCG για τον ανακτητή και χρησιμοποιήστε αναφορές και πλαίσια αξιολόγησης χωρίς αναφορές όπως RAGEval και RAGAS για να εκτιμήσετε την πληρότητα, τις ψευδαισθήσεις και την αδιάφορη σχετικότητα. Οι RAGEval και RAGAS παρέχουν δοκιμές συγκεκριμένων σεναρίων για εργασίες κατά τομέα και προτείνουν αυτοματοποιημένους ελέγχους LLM ως κριτή για την κλιμάκωση της αξιολόγησης. Παρακολουθήστε τρία σήματα παραγωγής: ακρίβεια ανάκτησης, πιστότητα απάντησης και καθυστέρηση ουράς. Στην πράξη, η αύξηση της ανάκλησης του ανακτητή συχνά μειώνει τις ψευδαισθήσεις πιο αποτελεσματικά από τις αυξήσεις μεγέθους μοντέλου.

Σχέδιο ανάπτυξης για ιδιωτική ανάπτυξη LLM

Ελάχιστο σχέδιο: υπηρεσία μοντέλου σε κοντέινερ πίσω από ένα VPC, ένα ξεχωριστό συμπλέγμα αποθήκης διανυσμάτων με κλειδωμένα ACL δικτύου, μια διαδικασία αυθεντικοποίησης που εκδίδει βραχυχρόνια διαπιστευτήρια και ένα σωρό παρακολούθησης που καταγράφει τα ids ανάκτησης με απαντήσεις για έλεγχο. Ξεκινήστε με ένα μοντέλο φιλοξενούμενο σε VPC μιας μόνο περιοχής για προβλεπτικότητα καθυστέρησης, στη συνέχεια προσθέστε διασυνοριακή αναπαραγωγή μόνο αν χρειάζεται. Αναμένατε υψηλότερο σταθερό κόστος σε μικρές αναπτύξεις αλλά καλύτερο έλεγχο και ιδιωτικότητα.

Η προφανής ένσταση είναι η καινοτομία προμηθευτή. Υπηρεσίες LLM που φιλοξενούνται στο σύννεφο θα προχωρήσουν ταχύτερα, και μπορεί να είναι πιο φθηνές εάν υπολογίσετε την αυτοματοποίηση μηχανικής. Η εκτίμησή μου: για συνεχείς υψηλές ποσότητες ερωτήσεων άνω από μερικά εκατομμύρια μηνιαίες ερωτήσεις, η διαχειριζόμενη εκτίμηση συχνά κερδίζει στο συνολικό κόστος ιδιοκτησίας. Ωστόσο, για ρυθμιζόμενα δεδομένα ή αυστηρούς κανόνες παραμονής, η ιδιωτική ανάπτυξη είναι η μόνη βιώσιμη επιλογή.

Δοκιμάστε το μόνοι σας: οι δύο ερωτήσεις παρακάτω δείχνουν πώς να αποκαλύψετε το θεμέλιο και να ανιχνεύσετε μη υποστηριγμένες δηλώσεις.

Αυτή η ερώτηση ζητά από το μοντέλο να απαντήσει σε ένα ερώτημα χρησιμοποιώντας το παρεχόμενο πλαίσιο και να απαριθμήσει τα ids πηγών που χρησιμοποίησε. Περιμένετε συνοπτικές απαντήσεις και αναφορές πηγών.

Δεδομένου των παρακάτω αποσπασμάτων πλαισίων με ids, απαντήστε στην ερώτηση του χρήστη και συμπεριλάβετε μια αριθμημένη λίστα με τα τρία κορυφαία ids πλαισίων που χρησιμοποιήσατε και ακριβή αποσπάσματα για καθένα.
Πλαίσιο 1 [id=C1]: "..."
Πλαίσιο 2 [id=C2]: "..."
Ερώτηση χρήστη: "Εξηγήστε το X και αναφέρατε τα 3 υποστηρικτικά αποσπάσματα."

Αυτή η ερώτηση ζητά από το μοντέλο να επισημάνει τις μη υποστηριγμένες αξιώσεις στη δική του απάντηση. Περιμένετε μια σύντομη λίστα δηλώσεων σημειωμένων ναι ή όχι για υποστήριξη και το supporting snippet id, όταν είναι διαθέσιμο.

Δημιουργήσατε αυτή την απάντηση. Για κάθε πρόταση, σημειώστε αν είναι πλήρως υποστηριζόμενη από τα παρεχόμενα πλαίσια και δώστε το supporting context id ή σημειώστε ΜΗ ΥΠΟΣΤΗΡΙΖΟΜΕΝΟ.
Απάντηση: "..."
Πλαίσια: C1, C2, C3

Παρατηρήσαμε ότι οι μικρές, επαναλαμβανόμενες πειραματικές δοκιμές με παραμέτρους ανάκτησης βρίσκουν τη μεγαλύτερη βελτίωση στην πιστότητα. Διατηρήστε τις αξιολογήσεις επαναλαμβανόμενες και καταγράψτε τα ids ανάκτησης μαζί με τις απαντήσεις για ανάλυση ρίζας.