Ứng dụng của TF-IDF và Logistic Regression trong phân tích dữ liệu với Scikit-learn

Việc tách dataset thành các tập train và test là một bước không thể thiếu trong quy trình xây dựng mô hình máy học. Mục tiêu của việc này là để đảm bảo rằng mô hình được huấn luyện trên dữ liệu chưa từng thấy khi đánh giá, từ đó cung cấp một thước đo khách quan về khả năng tổng quát hóa của mô hình đối với các dữ liệu mới.

Khi xây dựng mô hình machine learning, điều quan trọng là phải tránh overfitting - hiện tượng mô hình học quá chi tiết các đặc trưng của dataset huấn luyện đến mức không thể hoạt động hiệu quả trên dữ liệu mới. Việc tách một phần dữ liệu làm tập train (dùng để huấn luyện mô hình) và một phần dữ liệu làm tập test (để kiểm tra xem mô hình có hoạt động tốt trên dữ liệu chưa thấy) giúp đảm bảo tính chính xác của việc đánh giá mô hình.

Sử dụng Scikit-learn, một trong những thư viện phổ biến nhất trong Python cho các tác vụ máy học, công việc phân chia dữ liệu trở nên hết sức dễ dàng và hiệu quả. Thư viện này cung cấp cho người dùng hàm train_test_split trong mô-đun sklearn.model_selection, giúp đơn giản hóa việc phân chia dữ liệu với các tùy chọn như tỷ lệ phân chia, xáo trộn dữ liệu, và đặt seed để đảm bảo tính ngẫu nhiên lặp lại. Dưới đây là một ví dụ cụ thể.

from sklearn.model_selection import train_test_split

# Giả sử X là dữ liệu và y là các nhãn tương ứng
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
                

Trong ví dụ trên, dataset được chia thành hai phần: 80% dữ liệu được sử dụng để huấn luyện (train) và 20% được sử dụng để kiểm tra (test). Tham số random_state=42 đảm bảo khả năng tái lập kết quả khi cần.

Việc phân chia dữ liệu là bước quan trọng giúp tăng độ chính xác của mô hình khi được triển khai thực tế. Đặc biệt, trong bối cảnh xử lý ngôn ngữ tự nhiên và phân loại cảm xúc, việc đảm bảo rằng mô hình có khả năng tổng quát hóa là vô cùng cần thiết.

Sử dụng các công cụ mạnh mẽ từ Scikit-learn để phân chia dữ liệu không chỉ tiết kiệm thời gian mà còn tối ưu hóa quá trình xây dựng mô hình cảm xúc, giúp tăng khả năng thành công trong việc triển khai mô hình vào các ứng dụng thực tiễn.

Trong bước này, chúng ta sẽ áp dụng TF-IDF và Logistic Regression để xây dựng một mô hình phân loại cảm xúc. TF-IDF, viết tắt của Term Frequency-Inverse Document Frequency, là một kỹ thuật rất phổ biến trong xử lý ngôn ngữ tự nhiên (NLP) để chuyển đổi văn bản thành các vector số. Các vector này có thể được đưa vào mô hình học máy như Logistic Regression.

Vậy TF-IDF hoạt động như thế nào? Đầu tiên, "Term Frequency" (TF) đo lường tần suất từ xuất hiện trong một tài liệu cụ thể. Trong khi đó, "Inverse Document Frequency" (IDF) đánh giá tầm quan trọng của từ bằng cách tính toán nghịch đảo số lượng tài liệu mà từ đó xuất hiện. TF-IDF kết hợp cả hai chỉ số trên để xác định mức độ quan trọng của một từ trong văn bản. Khi một từ xuất hiện thường xuyên trong một tài liệu nhưng ít xuất hiện trong toàn bộ tập dữ liệu, từ đó có thể mang nhiều thông tin quan trọng hơn.

Để tính toán TF-IDF và áp dụng Logistic Regression, trước tiên cần phải chuẩn bị dữ liệu của mình. Dựa vào các phân vùng train/test mà chúng ta đã chuẩn bị ở bước trước, chúng ta sẽ tiếp tục xây dựng mô hình.

Ví dụ: Sử dụng TF-IDF và Logistic Regression

Dưới đây là cách chúng ta thực hiện quá trình này bằng Scikit-learn:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split

# Sử dụng dataset ví dụ
data = fetch_20newsgroups(subset='train', categories=['rec.sport.hockey', 'sci.space'])
X = data.data
y = data.target

# Tách dữ liệu
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Tạo pipeline TF-IDF và Logistic Regression
model = make_pipeline(TfidfVectorizer(), LogisticRegression(max_iter=1000))

# Huấn luyện mô hình
model.fit(X_train, y_train)

# Dự đoán
predictions = model.predict(X_test)

Trong đoạn mã trên, TfidfVectorizer chuyển đổi văn bản thành vector TF-IDF. Sau đó, chúng ta sử dụng LogisticRegression để huấn luyện mô hình phân loại. Việc sử dụng pipelining giúp kết hợp các bước một cách dễ dàng và đảm bảo mô hình của chúng ta được huấn luyện một cách hiệu quả.

Áp dụng Logistic Regression cùng với TF-IDF là một lựa chọn tối ưu trong phân loại văn bản nhờ tính đơn giản và hiệu quả. Tiếp tục với các bước sau, chúng ta sẽ đánh giá mô hình với chỉ số F1-score để hiểu rõ hơn về hiệu suất của nó.

Để đánh giá hiệu suất của mô hình phân loại cảm xúc, một trong những chỉ số quan trọng nhất mà chúng ta cần quan tâm là F1-score. Tại sao F1-score lại quan trọng? Hãy cùng tìm hiểu các khía cạnh của chỉ số này.

F1-score là sự kết hợp hài hòa giữa độ chính xác (precision) và độ nhạy (recall). Được tính bằng công thức:

Ở đây:

• Precision: Tỷ lệ các dự đoán đúng trên tổng số dự đoán "có" từ mô hình.
• Recall: Tỷ lệ các dự đoán đúng trên tổng số trường hợp mà đáng lẽ nó phải dự đoán "có".

F1-score là một chỉ số đặc biệt hữu ích trong phân loại dữ liệu không cân bằng — điều xảy ra khi một lớp dữ liệu chiếm ưu thế so với các lớp khác. Trong trường hợp như vậy, chỉ sử dụng độ chính xác (accuracy) để đánh giá mô hình là không hợp lý, bởi mô hình có thể đạt độ chính xác cao chỉ bằng cách dự đoán lớp ưu thế nhất cho tất cả các trường hợp.

Bây giờ, ta hãy đi qua một ví dụ cụ thể để thấy sự khác biệt giữa mô hình trước và sau khi tối ưu hóa dựa trên F1-score.

Hãy thử tưởng tượng trong một bài toán phân loại độ phân cực của câu (tích cực/tiêu cực). Sau khi chạy mô hình Logistic Regression với dữ liệu số cân bằng sử dụng TF-IDF, ta thu thập được các kết quả sau:

Điều đó có nghĩa là, mặc dù độ chính xác của mô hình có vẻ ổn, nhưng mô hình vẫn chưa có khả năng phán đoán đúng tất cả các trường hợp tích cực/tiêu cực.

Sau khi áp dụng một số kỹ thuật tối ưu hóa, chẳng hạn như điều chỉnh tham số hoặc sử dụng kỹ thuật tăng cường dữ liệu, hiệu suất mô hình được cải thiện như sau:

Như bạn có thể thấy, chỉ số Precision và Recall đều được cải thiện, do đó làm cho F1-score cũng được nâng cấp. Điều này cho thấy mô hình sau khi tối ưu hóa không chỉ tinh gọn mà còn chính xác hơn trong việc phân loại đúng các trường hợp.

Nếu bạn đang làm việc với dữ liệu không cân bằng, F1-score là chỉ số không thể thiếu để đảm bảo mô hình của bạn được tối ưu hóa ở mức cao nhất. Việc liên tục so sánh F1-score trước và sau khi sửa đổi sẽ giúp bạn tối ưu hóa mô hình một cách hiệu quả.