Triển khai API với FastAPI, Uvicorn và Docker

FastAPI là một công cụ mạnh mẽ cho việc tạo các điểm cuối HTTP ("endpoints") trong ứng dụng của bạn. Điểm mạnh của FastAPI nằm ở khả năng xử lý nhanh chóng, dễ sử dụng và cung cấp tài liệu API tự động. Trong phần này, chúng ta sẽ xem xét cách thiết lập một môi trường FastAPI và cách sử dụng nó để tạo các endpoint phục vụ cho mô hình NLP mà bạn đã đóng gói trong bước trước.

Bạn đã biết rằng mô hình của bạn cần phải hoạt động một cách độc lập trong container Docker. Bây giờ, để có thể giao tiếp với mô hình từ bên ngoài, bạn cần thiết lập một giao diện HTTP thông qua các điểm cuối FastAPI.

Viết tests cho API

Testing là một phần quan trọng và không thể thiếu trong quy trình phát triển phần mềm, đặc biệt khi phát triển API. Đảm bảo rằng API của bạn hoạt động chính xác và ổn định giúp tăng cường độ tin cậy và hiệu suất của hệ thống. Trong ngữ cảnh FastAPI, việc viết và chạy các bài test trở nên thuận tiện nhờ vào Pytest, một trong những framework test phổ biến nhất cho Python.

Trước khi bước vào các bước cụ thể, hãy chắc chắn rằng bạn đã cài đặt pytest trong môi trường làm việc của mình. Bạn có thể cài đặt nó thông qua pip:

pip install pytest

Sau khi Pytest đã được thiết lập, chúng ta sẽ bắt đầu bằng cách viết các bài test cơ bản cho API. Đầu tiên, chúng ta tạo một file mới có tên là test_api.py. Đây sẽ là nơi lưu trữ tất cả các bài test của chúng ta.

Để test các endpoint trong FastAPI, chúng ta cần sử dụng TestClient từ package fastapi.testclient. Đây là bước khởi đầu:

from fastapi.testclient import TestClient
from your_api_file import app

client = TestClient(app)
        

Với client được khởi tạo từ TestClient, chúng ta có thể bắt đầu viết các phương thức test. Ví dụ, để kiểm tra các endpoint GET và POST, chúng ta có thể viết như sau:

def test_read_main():
    response = client.get("/")
    assert response.status_code == 200
    assert response.json() == {"msg": "Hello World"}

def test_create_item():
    response = client.post("/items/", json={"name": "Foo"})
    assert response.status_code == 200
    assert response.json() == {"name": "Foo"}
        

Bên cạnh việc kiểm tra các endpoint, cần đảm bảo rằng API của bạn cũng cần có khả năng xử lý các đầu vào không hợp lệ một cách chính xác. Để kiểm tra điều này, bạn có thể tạo một bài test cho các tình huống lỗi:

def test_invalid_input():
    response = client.post("/items/", json={"invalid_field": "Foo"})
    assert response.status_code == 422
        

Khả năng phục hồi sau lỗi cũng là yếu tố quan trọng mà bạn cần test trong API. Một cách tiếp cận hiệu quả là sử dụng các giả lập lỗi (mock) để đảm bảo rằng API của bạn xử lý lỗi một cách trang nhã và không gây tác động tiêu cực lên trải nghiệm người dùng. Với Pytest, bạn có thể sử dụng plugin pytest-mock để tạo mock cho các đối tượng hoặc phần của mã nguồn:

from unittest.mock import patch
from your_api_file import some_function

def test_some_function_error_handling():
    with patch('your_api_file.some_function', side_effect=Exception("Test Exception")):
        response = client.get("/some-endpoint/")
        assert response.status_code == 500
        

Khi bạn đã hoàn tất việc tạo các bài test, chúng có thể được chạy đơn giản bằng lệnh pytest tại thư mục chứa các file test. Pytest sẽ tự động phát hiện các file và hàm test để thực thi.

Việc thực hiện test định kỳ cho API của bạn không chỉ giúp phát hiện và khắc phục lỗi sớm, mà còn đảm bảo rằng các cải tiến hay thay đổi mới không gây ra các vấn đề không mong muốn. Điều này đặc biệt quan trọng khi triển khai mô hình NLP qua FastAPI và Docker, vì sự ổn định và hiệu suất là các yếu tố then chốt.

Sau khi API của bạn đã hoàn tất các bài kiểm thử và đảm bảo hoạt động đúng cách, bước tiếp theo trong quy trình phát triển là đóng gói ứng dụng bằng Docker. Docker là một công cụ mạnh mẽ cho phép bạn đơn giản hóa việc triển khai ứng dụng bằng cách đóng gói tất cả các phần phụ thuộc cần thiết vào một container duy nhất. Quá trình này giúp bảo vệ ứng dụng khỏi các vấn đề liên quan đến môi trường và đảm bảo rằng mọi thứ hoạt động như mong đợi khi triển khai trên môi trường thực tế.

Để bắt đầu, chúng ta cần tạo một file Dockerfile, đây là nơi mà chúng ta định nghĩa cách thức xây dựng image cho ứng dụng của mình. Một Dockerfile hiệu quả sẽ đảm bảo rằng ứng dụng chạy mượt mà và sử dụng tài nguyên một cách tối ưu. Trong trường hợp của chúng ta, nội dung trong Dockerfile sẽ bao gồm việc cài đặt các thư viện cần thiết cho FastAPI, mô hình NLP, cũng như mọi package bổ sung mà bạn đã sử dụng trong quá trình phát triển.

Sử dụng Python Base Image

Khi lập bản Dockerfile, hãy chọn một Python base image phù hợp với phiên bản Python mà bạn đã sử dụng trong quá trình phát triển. Ví dụ, bạn có thể bắt đầu với:

Phiên bản 'slim' thường được ưa chuộng vì nó nhẹ và phù hợp để giảm kích thước tổng thể của image.

Thiết lập môi trường làm việc

Tạo một thư mục làm việc trong container và sao chép các file dự án vào thư mục này:

Thiết lập này đảm bảo các file dự án được tổ chức hợp lý trong container.

Cài đặt các phụ thuộc

Tiếp theo, cài đặt các thư viện và phụ thuộc cần thiết bằng cách tham chiếu tới file requirements.txt đã có sẵn:

Đoạn lệnh này đảm bảo rằng tất cả các gói cần thiết cho ứng dụng được cài đặt kèm theo mà không lưu cache, giúp giảm kích thước image.

Chạy ứng dụng với Uvicorn

Sau khi các phụ thuộc đã được cài đặt, bạn có thể cấu hình Docker để chạy API bằng Uvicorn. Điều này được thực hiện bằng cách sử dụng câu lệnh CMD hoặc ENTRYPOINT:

Câu lệnh trên thiết lập Uvicorn để chạy ứng dụng FastAPI và lắng nghe trên cổng 8000.

Tối ưu hóa Dockerfile

Khi viết Dockerfile, có một số thực tiễn tốt nhất cần lưu ý để tạo ra một image hiệu suất cao:

• Sử dụng .dockerignore: Loại bỏ các file không cần thiết khỏi build context để giảm kích thước image.
• Kết hợp các câu lệnh RUN: Giảm số lượng layer trong image bằng cách kết hợp nhiều lệnh cài đặt vào một.
• Sử dụng cache hiệu quả: Sắp xếp lại các dòng lệnh để tăng khả năng sử dụng lại cache, đặc biệt là đối với các lệnh ít thay đổi như cài đặt phụ thuộc.

Những thực tiễn này không chỉ giúp tạo ra image gọn gàng hơn mà còn giúp tăng tốc quá trình build và triển khai.

Prometheus và Grafana

Prometheus là một hệ thống giám sát và cảnh báo mã nguồn mở nổi tiếng, chuyên dùng để thu thập và tổng hợp số liệu dữ liệu thời gian thực. Kết hợp với Grafana, một công cụ hiển thị dữ liệu mạnh mẽ, bạn có thể tạo ra những bảng điều khiển thân thiện và dễ hiểu về các số liệu giám sát. Điều này giúp bạn theo dõi tình trạng hệ thống một cách trực quan và phát hiện kịp thời các vấn đề xảy ra.

ELK Stack

Bộ ELK gồm Elasticsearch, Logstash, và Kibana, cho phép các nhà phát triển ghi lại các log và phân tích chúng để phát hiện và giải quyết các vấn đề hệ thống. Elasticsearch chịu trách nhiệm lưu trữ và tìm kiếm dữ liệu log, Logstash thu thập và xử lý log từ nhiều nguồn, trong khi Kibana hỗ trợ tạo ra các trang tổng quan giúp phân tích và giám sát dữ liệu qua giao diện đồ họa.