Частное развертывание LLM: Практическое RAG для предприятий

Частное развертывание LLM с использованием генерации, дополненной извлечением, обеспечивает возможность аудита, точные ответы по предметной области и сохраняет данные внутри вашего периметра. Этот гид предлагает инженерным и продуктовым командам компактный, практический маршрут от выбора модели через безопасный RAG-пайплайн, оценку и минимальный чертеж производства.

Выберите модель и векторы с учетом ограничений

Выберите модель, соответствующую вашим требованиям по задержке, стоимости и лицензии. Последние списки открытых весов, такие как Leafy.dev и PocketLLM, демонстрируют широкий спектр от небольших моделей 7B до семейства 70B; более мелкие модели снижают стоимость хостинга и делают практичным локальный вывод, более крупные модели улучшают «из коробки» логическое мышление. Используйте одного и того же поставщика или совместимую модель векторных вложений как для индексации, так и для работы, чтобы избежать дрейфа векторов. Мы наблюдали, что предварительное вычисление векторов для статических документов сокращает задержку запросов примерно на время одного прямого прохода и упрощает откат.

Безопасные векторные хранилища и методы обеспечения конфиденциальности

Для многих команд с количеством векторов менее 5 миллионов встраиваемый Postgres с pgvector является операционно простым вариантом по умолчанию, в то время как управляемые сервисы, такие как Pinecone, Weaviate и Milvus, обмениваются меньшими операционными затратами на более высокие цены и специализированные функции. В benchmarks Inductivee и Tensoria обсуждаются различия в пропускной способности и стоимости для наборов данных векторов от 1M до 100M и показывается, что выбор зависит от размера векторов, QPS и необходимости в многорегиональной репликации.

Шифруйте векторы при хранении и используйте оберточное шифрование для ключей. Примените строгую IAM к векторному хранилищу и требуйте mTLS для всех сервисных соединений. Для моделирования угроз и советов по «красной команде» проконсультируйтесь с нашей книгой по безопасности LLM LLM security playbook. Если вам нужны формальные гарантии конфиденциальности, ознакомьтесь с вариантами дифференциальной конфиденциальности и защищенной агрегации в нашем руководстве differential privacy techniques.

Одна из проблем, с которой мы столкнулись на практике, - неправильно настроенные сервисные аккаунты, которые раскрывают метаданные векторов. Рассматривайте метаданные как высокочувствительные и защищайте их теми же средствами, что и векторы.

Измерение релевантности, галлюцинаций, задержки и стоимости

Используйте метрики извлечения, такие как Hit@k, MRR и NDCG для извлекающего механизма, и используйте рамки оценки с ссылками и без ссылок, такие как RAGEval и RAGAS для оценки полноты, галлюцинаций и нерелевантности. RAGEval и RAGAS предоставляют конкретные сценарные тесты для задач в области и предлагают автоматизированные проверки LLM в роли судьи для масштабируемой оценки. Мониторьте три производственных сигнала: точность извлечения, верность ответов и конечную задержку. На практике повышение полноты извлекающего механизма часто более эффективно снижает галлюцинации, чем увеличение размера модели.

Чертеж развертывания для частного развертывания LLM

Минимальный чертеж: контейнеризированное служение модели за VPC, отдельный кластер векторного хранилища с заблокированными сетевыми ACL, прокси-аутентификации, выдающий краткосрочные токены, и стек наблюдаемости, который записывает идентификаторы извлечения с ответами для аудита. Начните с модели, размещенной в одном регионе VPC для предсказуемости задержки, затем добавьте многорегиональную репликацию только при необходимости. Ожидайте более высоких фиксированных затрат на небольших развертываниях, но с лучшим контролем и конфиденциальностью.

Очевидное возражение - инновации поставщиков. Облачные сервисы LLM будут развиваться быстрее, и они могут быть дешевле, если вы учтете затраты на инженерные работы. Моя оценка: для устойчивых объемов запросов выше нескольких миллионов в месяц управляемый вывод часто выигрывает по общей стоимости владения. Тем не менее, для регулируемых данных или строгих правил резиденции частное развертывание - единственный жизнеспособный вариант.

Попробуйте сами: два приведенных ниже запрашивают, как выявить основу и обнаружить неподдерживаемые утверждения.

Этот запрос предлагает модели ответить на вопрос, используя предоставленный контекст, и перечислить идентификаторы источников, которые она использовала. Ожидайте лаконичных ответов и ссылок на источники.

Учитывая следующие фрагменты контекста с идентификаторами, ответьте на вопрос пользователя и включите нумерованный список из трех лучших идентификаторов контекста, которые вы использовали, и точные цитируемые доказательства для каждого.
Контекст 1 [id=C1]: "..."
Контекст 2 [id=C2]: "..."
Вопрос пользователя: "Объясните X и процитируйте 3 подтверждающих фрагмента."

Этот запрос предлагает модели отметить неподдерживаемые утверждения в своем ответе. Ожидайте короткий список утверждений, помеченных да или нет для поддержки, и идентификатор поддерживающего фрагмента, если доступно.

Вы сгенерировали этот ответ. Для каждого предложения отметьте, полностью ли оно поддерживается предоставленными контекстами, и дайте идентификатор поддерживающего контекста или пометьте НЕДОКАЗАНО.
Ответ: "..."
Контексты: C1, C2, C3

Мы заметили, что небольшие повторяемые эксперименты с параметрами извлечения находят наибольшее улучшение в верности. Соблюдайте повторяемость оценок и фиксируйте идентификаторы извлечения вместе с ответами для анализа причин.