Tự host hay Cloud: Chọn mô hình triển khai AI Agent — Kỳ 3

Đây là Kỳ 3 của serie "AI Agent cho doanh nghiệp". Kỳ 1 đã phân biệt AI Agent với chatbot/RPA; Kỳ 2 mổ xẻ kiến trúc bên trong gồm LLM, bộ nhớ, tools và vòng lặp planning. Hôm nay chúng ta giải quyết câu hỏi đầu tiên mọi doanh nghiệp gặp phải khi bước vào triển khai — "Chạy nó ở đâu?"

Có hai lựa chọn lớn: gọi API trên cloud (OpenAI, Anthropic, Google) hoặc tự host mô hình trên hạ tầng do mình kiểm soát. Quyết định này tác động lâu dài tới cả bảo mật, chi phí lẫn chủ quyền dữ liệu. Bài viết so sánh trên cả ba trục với số liệu 2026, rồi kết bằng lời giải thực tế cho phần lớn doanh nghiệp.

Thực ra bạn đang "host" cái gì?

Như Kỳ 2 đã chỉ ra, AI Agent không phải một LLM đơn lẻ mà là một hệ thống gắn kết engine suy luận, bộ nhớ (vector DB), lớp thực thi tools và orchestration. Câu hỏi "chạy ở đâu" thực chất tách thành hai phần:

• Suy luận mô hình (inference): dùng LLM qua API cloud, hay chạy trên GPU của chính mình?
• Nền tảng agent: các thành phần xung quanh — bộ nhớ, tools, log, kết nối dữ liệu — đặt ở đâu?

Hai phần này chọn độc lập được. "Inference trên cloud API, dữ liệu và nền tảng đặt nội bộ" là một cấu hình lai hoàn toàn hợp lệ. Hãy đi qua ba trục quyết định.

Trục 1: Bảo mật và chủ quyền dữ liệu

Lo ngại lớn nhất với cloud API là dữ liệu nghiệp vụ (thông tin khách hàng, hợp đồng, mã nguồn) đi qua máy chủ không thuộc về bạn. Các nhà cung cấp lớn khẳng định không dùng dữ liệu API để huấn luyện, nhưng dữ liệu được lưu trữ và xử lý vật lý ở đâu vẫn là vấn đề then chốt cho tuân thủ pháp lý.

Bối cảnh pháp lý 2026 khiến quyết định này nặng ký hơn. Luật Trí tuệ nhân tạo của Việt Nam có hiệu lực từ ngày 1/3/2026, phân loại AI theo ba mức rủi ro và thiết lập cơ chế quản lý hoạt động xuyên biên giới, khẳng định chủ quyền quốc gia trong không gian mạng (nguồn: LuatVietnam). Tại Nhật, Luật Bảo vệ thông tin cá nhân (APPI) yêu cầu sự đồng thuận hoặc công nhận tương đương khi chuyển dữ liệu cá nhân ra nước ngoài.

Với các nghiệp vụ xử lý dữ liệu nhạy cảm (y tế, tài chính, cơ quan nhà nước, sở hữu trí tuệ), giữ dữ liệu trong nước và nội bộ khiến tự host trở thành điểm tựa an tâm về tuân thủ. Còn với tóm tắt tài liệu nội bộ thông thường hay hỗ trợ viết code, một cloud API với điều khoản bảo vệ dữ liệu chặt chẽ thường là đủ.

Lợi thế của tự host

Một tài liệu hướng dẫn tóm gọn lợi ích cốt lõi của AI Agent tự host thành bốn điểm: quyền riêng tư dữ liệu trọn vẹn, chi phí dễ dự đoán, tùy biến toàn diện và độc lập khỏi phụ thuộc bên ngoài (nguồn: Self-Hosted AI Agent Guide 2026). "Dữ liệu không bao giờ rời khỏi nhà" là giá trị vô giá trong các ngành chịu quản lý chặt.

Trục 2: Chi phí (TCO)

Sai lầm phổ biến là đặt cạnh nhau "đơn giá cloud API × lượng dùng" và "khấu hao GPU hằng tháng". Tổng chi phí sở hữu (TCO) thực tế đa chiều hơn nhiều.

Một thay đổi quan trọng của 2026: đà giảm giá cloud API đã chững lại. Giá từng lao dốc trong 2024–2025 nay đi ngang trong 2026 khi chi phí của các mô hình tiên phong (frontier) tăng kịp cùng nhu cầu (nguồn: VDF AI so sánh TCO 2026). Doanh nghiệp từng lập kế hoạch dựa trên giả định "giá sẽ tiếp tục giảm" buộc phải xem lại.

Đòn bẩy còn lại là định tuyến (routing). Cũng theo nghiên cứu trên, một workload tốn 50.000 USD/tháng ở mức giá frontier có thể giảm còn 8.000–15.000 USD/tháng khi chuyển 70% lượng gọi sang mô hình nội bộ nhỏ hơn nhưng chất lượng tương đương. Đẩy 70% lưu lượng sang mô hình local giúp cắt 60–80% chi phí inference.

Cần để mắt tới "chi phí ẩn" ở cả hai phía: phía cloud có phí truyền dữ liệu ra (egress), công cụ giám sát, retry, các lần fine-tuning; phía tự host có làm mát, khấu hao, nhân sự vận hành và tỷ lệ sử dụng lúc rảnh. Một so sánh trung thực phải gộp tất cả.

Trục 3: Tùy biến và tự do vận hành

Tự host cho phép tự do chọn, fine-tune, lượng tử hóa (quantize) và tối ưu inference (các stack như vLLM hay Ollama). Lượng tử hóa một mô hình nhỏ chuyên biệt theo lĩnh vực rồi chạy trên GPU phổ thông giúp bạn điều chỉnh chính xác cán cân hiệu năng – chi phí.

Ngược lại, cloud cho truy cập tức thì tới các mô hình frontier mới nhất mà gần như không gánh nặng vận hành hạ tầng. Ở giai đoạn PoC (chứng minh khả thi) khi tốc độ triển khai là ưu tiên số một, cloud thắng áp đảo. Với doanh nghiệp chưa có nhân lực MLOps nội bộ, gánh nặng vận hành của tự host là rủi ro không thể xem nhẹ.

Lời giải thực tế: mô hình lai (hybrid)

Câu trả lời trung thực nhất cho 2026 là "tùy vào cơ cấu workload" — và kết luận mà phần lớn doanh nghiệp đi tới là hybrid.

• Tác vụ tần suất cao, lặp lại (phân loại/tóm tắt tài liệu nội bộ, trả lời FAQ chuẩn) → định tuyến tới mô hình local nhỏ trong nội bộ. Được cả chi phí lẫn chủ quyền dữ liệu.
• Tác vụ tần suất thấp, suy luận nặng (phân tích phức tạp, xử lý ngoại lệ hiếm) → dùng mô hình frontier trên cloud.
• Xử lý có chứa dữ liệu nhạy cảm → luôn khép kín trong nội bộ.

Chính "thiết kế định tuyến" này là cách tiếp cận chuẩn của 2026 để tối ưu đồng thời bảo mật và chi phí. Thay vì nhắm tới cấu hình hoàn hảo ngay từ đầu, hãy khởi động PoC thật nhanh trên cloud rồi chuyển dần sang tự host theo từng bước khi lượng dữ liệu và mức độ nhạy cảm ở môi trường production tăng lên.

Checklist để ra quyết định

1. Mức độ nhạy cảm của dữ liệu và quy định áp dụng (APPI, Luật AI Việt Nam) là gì?
2. Lượng token hằng tháng sẽ tăng gấp bao nhiêu lần từ PoC sang production?
3. Nội bộ có đội ngũ vận hành MLOps không?
4. Ưu tiên tốc độ triển khai hay khả năng dự đoán chi phí?
5. Có dư địa để định tuyến đưa các tác vụ tần suất cao về local không?

Kết luận

Tự host và cloud không phải lựa chọn một-mất-một-còn. Hãy đánh giá trên ba trục bảo mật, chi phí và tự do, rồi quyết định nơi đặt phù hợp nhất cho từng workload — đó là cốt lõi của việc triển khai AI Agent năm 2026. Với phần lớn doanh nghiệp, câu trả lời sẽ là hybrid: dữ liệu nhạy cảm và tác vụ tần suất cao đặt nội bộ, còn suy luận mới nhất giao cho cloud.

Kỳ tới (Kỳ 4), chúng ta sẽ đi sâu vào các use case theo từng phòng ban — AI Agent tạo giá trị thế nào ở sales, chăm sóc khách hàng, vận hành và phát triển phần mềm — kèm ví dụ cụ thể. Hẹn gặp lại!