Thiết kế quy trình công việc giữa con người và AI: mô hình UX thực tiễn cho sự chuyển giao, nguồn gốc và sự tự tin

Giao hàng một tính năng AI rất khác so với giao hàng phần mềm truyền thống.

Với các tính năng sản phẩm tiêu chuẩn, hành vi thường là có tính xác định: cùng một đầu vào, cùng một đầu ra. Hệ thống AI không hoạt động theo cách đó. Chúng giới thiệu hành vi xác suất, hiệu suất phát triển và những rủi ro vận hành mới tiếp tục kéo dài lâu sau khi ra mắt.

Đó là lý do tại sao việc xây dựng các tính năng AI cần suy nghĩ vượt ra ngoài việc lựa chọn mô hình. Công việc thực sự bắt đầu sau đó.

Một vòng đời tính năng AI hoàn chỉnh bao gồm mọi thứ từ việc chọn mô hình phù hợp đến việc theo dõi hành vi sản xuất, xử lý sự cố và phản ứng khi có vấn đề xảy ra.

Các đội ngũ mà coi AI như một vòng đời đầy đủ, không chỉ là một sự kiện ra mắt, thường xây dựng các sản phẩm ổn định hơn.

Giai đoạn 1: Lựa chọn mô hình

Mỗi tính năng AI bắt đầu với một câu hỏi đơn giản:

Mô hình nào nên cung cấp cho tính năng này?

Quyết định đó hình thành mọi thứ ở phía sau: chi phí, độ trễ, chất lượng, bảo mật và khả năng bảo trì.

Lựa chọn một mô hình không chỉ dựa trên điểm số chuẩn. Trong thực tế, các đội cũng đánh giá:

• tốc độ suy diễn
• chi phí token
• kích thước cửa sổ ngữ cảnh
• khả năng sử dụng công cụ
• hỗ trợ tinh chỉnh
• yêu cầu về quyền riêng tư và tuân thủ

Một mô hình thực hiện tốt trong một bài kiểm tra chuẩn có thể là lựa chọn sai cho sản xuất nếu nó quá đắt hoặc quá chậm.

Những gì các nhóm đánh giá trong quá trình lựa chọn mô hình

Giai đoạn này thường bị đánh giá thấp, nhưng chọn mô hình sai tạo ra nợ kỹ thuật lâu dài.

Giai đoạn 2: Thiết kế hệ thống và tích hợp

Khi mô hình được chọn, bước tiếp theo là xây dựng sản phẩm thực tế xung quanh nó.

Điều này thường bao gồm:

• kiến trúc prompt
• hệ thống truy xuất (RAG)
• tích hợp công cụ
• hệ thống bộ nhớ
• các quy tắc và lớp chính sách

Tại thời điểm này, mô hình trở thành một phần của hệ thống lớn hơn.

Điều này quan trọng vì hầu hết các sự cố trong sản phẩm AI không chỉ đến từ mô hình, chúng đến từ cách mà mô hình tương tác với mọi thứ xung quanh nó.

Một thiết kế hệ thống tốt hạn chế bán kính ảnh hưởng và cải thiện khả năng quan sát.

Giai đoạn 3: Đánh giá trước khi ra mắt

Trước khi triển khai, các nhóm cần trả lời:

Tính năng này có thực sự hoạt động dưới các điều kiện thực tế không?

Đánh giá ở đây đi xa hơn so với các prompt kiểm tra đơn giản.

Đánh giá AI mạnh mẽ thường bao gồm:

• kiểm tra chuẩn
• các prompt đối kháng
• mô phỏng tình huống đặc biệt
• vòng lặp đánh giá của con người
• đo lường ảo giác
• phân tích độ trễ và chi phí

Các lĩnh vực đánh giá trước khi ra mắt

Bỏ qua giai đoạn này thường tạo ra những bất ngờ trong sản xuất.

Giai đoạn 4: Triển khai

Triển khai là nơi tính năng AI trở thành sản phẩm trực tiếp.

Khác với các bản phát hành truyền thống, việc triển khai AI thường cần kiểm soát bổ sung:

• phát hành canary
• điều chỉnh lưu lượng
• mô hình dự phòng
• giới hạn tốc độ
• chiến lược quay lại

Điều này quan trọng vì các hệ thống AI có thể thất bại theo những cách khó dự đoán.

Một mô hình có thể hoạt động tốt trong giai đoạn thử nghiệm nhưng hành xử khác với các đầu vào của người dùng thực.

Khoảng cách giữa thử nghiệm và thực tế là nơi nhiều sự cố bắt đầu.

Giai đoạn 5: Theo dõi sản xuất

Đây là nơi vòng đời trở thành liên tục.

Khi trực tiếp, các tính năng AI cần được theo dõi liên tục cho:

• suy giảm chất lượng đầu ra
• trôi dạt mô hình
• sự gia tăng chi phí bất thường
• sự thoái lui về độ trễ
• các hoàn thành không an toàn
• các nỗ lực tiêm prompt

Khả năng quan sát truyền thống không đủ ở đây.

Khả năng quan sát AI phải bao gồm các tín hiệu hành vi, không chỉ là số liệu hạ tầng.

Những gì cần theo dõi trong sản xuất

Các đội ngũ càng phát hiện sớm những thay đổi, việc khắc phục càng dễ dàng hơn.

Giai đoạn 6: Phản ứng sự cố

Không có hệ thống AI nào hoàn hảo mãi mãi.

Các sự cố xảy ra:

• ảo giác
• rò rỉ dữ liệu
• thực thi công cụ kém
• hỏng lẫn truy xuất
• tiêm prompt
• suy thoái mô hình

Đó là lý do tại sao phản ứng sự cố là một phần của vòng đời, không phải là một lớp tùy chọn.

Một quy trình phản ứng sự cố AI trưởng thành thường như sau:

1. Phát hiện hành vi bất thường
2. Giới hạn vấn đề
3. Điều tra nguyên nhân gốc
4. Quay lại hoặc vá lỗi
5. Cập nhật biện pháp bảo vệ
6. Tài liệu bài học đã học

Cấu trúc này gần như phản ánh các thực hành vòng đời sự cố trong độ tin cậy phần mềm và quản trị AI.

Tổng quan về vòng đời tính năng AI đầy đủ

Điều quan trọng là vòng lặp này là lặp đi lặp lại.

Các đội ngũ không ngừng di chuyển qua lại giữa các giai đoạn này.

Điểm mấu chốt cuối cùng

Các tính năng AI không phải là những sản phẩm tĩnh. Chúng là những hệ thống sống.

Sai lầm lớn nhất mà các đội làm là coi việc ra mắt là điểm kết thúc.

Trên thực tế:

• việc lựa chọn mô hình đặt nền tảng
• đánh giá giảm thiểu sự không chắc chắn
• theo dõi duy trì chất lượng ổn định
• phản ứng sự cố giữ rủi ro trong tầm kiểm soát

Các đội ngũ AI mạnh mẽ hiểu rõ một điều: giao hàng tính năng chỉ là khởi đầu của vòng đời.