Bạn vẫn nghĩ xài Open Source các mô hình AI là miễn phí và tiết kiệm chi phí thật sao?
Có câu chuyện kể rằng, anh CEO yêu cầu đội dev dựng một server để chạy mã nguồn mở mistral/meta llama 2 vì thấy chi phí để trả Open AI đã lên tới gần $700/tháng.
Sau khi dựng môi trường, cấu hình đầy đủ và chạy thử, đội dev báo lại CEO chi phí dự tính để phục vụ tối đa 1000 người, mất tầm $5000/tháng. Tốc độ sẽ không nhanh, chất lượng muốn tốt và xịn như chatgpt phải fine-tune dataset riêng tốn thêm chi phí train, model finetune ngót thêm ít nhất $2000 cơ bản và chi phí khác.
Wow, rõ là đắt luôn và không có tính kinh tế gì cả.
Đó là lý do anh CEO vẫn phải tiếp tục phát triển sản phẩm theo hướng tích hợp API.
Đây là câu chuyện có thật, chi phí cụ thể có thể không tuyệt đối nhưng cũng thấy rằng, open source thực sự rất đắt nếu để phục vụ nhiều request/minute (lượt yêu cầu/phút).
Nếu là cá nhân và startup nhỏ, nhìn cấu hình sẽ rất cần hạ tầng mạnh để chạy quy mô request lớn.
Câu hỏi khác là: nếu xét về tính kinh tế và tính hiệu quả, bỏ qua yếu tố tự hào dân tộc, thì các tập đoàn bigtech VN hoàn toàn có thể fine-tune mã nguồn mở Gemma thay vì mất thời gian xây dựng từ đầu.
Cấu trúc Gemma xịn, đa phương thức. Quan trọng: Data vẫn nằm lại quốc gia.
Phải chăng việc nghiên cứu khoa học, tự xây dựng model AI riêng cũng là cách tuyển dụng và bồi dưỡng nhân tài.
Chỉ lo là, các mã nguồn mở ngày càng mạnh, chi phí giảm, cấu trúc tốt, chất lượng tốt thì các big tech trong nước có nuôi lâu dài được lực lượng nhân sự/nhà nghiên cứu nếu bản thân model/sản phẩm “cây nhà lá vườn” không thể bán hay thương mại hoá. Các ông chủ có tiếp tục dấn thân mảng AI nếu chỉ đơn giản là tôi muốn xài cái tôi trồng được.
Cuối cùng thì làm nghiên cứu giỏi nhưng phải thương mại được, sau đó có tiền đầu tư quay lại cơ bản nhiều khi là lối đi tốt hơn, như chính cách Open AI đã dùng mã nguồn mở Transformer (cũng thuộc Google) để đánh lại Google và dẫn đầu cuộc chơi cho tới tận hôm nay.
Bài viết từ góc nhìn của Đặng Hữu Sơn