Trong bài toán NILM (Non-Intrusive Load Monitoring), việc đánh giá mô hình được chia thành hai khía cạnh chính: độ chính xác về công suất (Regression/Power Estimation) và độ chính xác về trạng thái bật/tắt (Classification/Event Detection).
Dưới đây là giải thích chi tiết về các metrics được sử dụng trong paper của NILMFormer:
1. Nhóm Regression Metrics (Đo lường sai số công suất)
Các chỉ số này đo xem giá trị công suất (Watt) mà mô hình dự đoán gần với thực tế bao nhiêu.
- MAE (Mean Absolute Error - Sai số tuyệt đối trung bình):
- Cách tính: Trung bình cộng của các giá trị tuyệt đối giữa công suất dự đoán và công suất thực tế.
- Ý nghĩa: Cho biết trung bình mô hình bị lệch bao nhiêu Watt. Đây là chỉ số phổ biến nhất trong NILM.
- MSE (Mean Squared Error - Sai số bình phương trung bình):
- Cách tính: Trung bình cộng của bình phương các sai số.
- Ý nghĩa: Do có bình phương, MSE phạt rất nặng các sai số lớn (outliers).
- RMSE (Root Mean Squared Error - Căn bậc hai sai số bình phương trung bình):
- Cách tính: $\sqrt{MSE}$.
- Ý nghĩa: Đưa sai số về cùng đơn vị (Watt) như MAE nhưng vẫn giữ đặc tính nhạy cảm với các sai số lớn.
- NDE (Normalized Disaggregation Error - Sai số phân tách chuẩn hóa):
- Cách tính: Tổng bình phương sai số chia cho tổng bình phương công suất thực tế.
- Ý nghĩa: Giúp so sánh hiệu quả của mô hình trên các thiết bị có công suất khác nhau (ví dụ: so sánh máy giặt công suất lớn với bóng đèn công suất nhỏ).
- SAE (Signal Aggregate Error - Sai số tín hiệu tổng hợp):
- Cách tính: $| \sum \hat{y} - \sum y | / \sum y$.
- Ý nghĩa: Đo lường mức độ sai lệch về tổng năng lượng tiêu thụ trong cả một khoảng thời gian dài. Một mô hình có thể sai ở từng thời điểm nhưng tổng năng lượng vẫn chính xác.
2. Nhóm Energy Allocation Metrics (Đo lường phân bổ năng lượng)
- TECA (Total Energy Correctly Assigned - Tổng năng lượng được phân bổ đúng):
- Ý nghĩa: Đo lường tỷ lệ phần trăm năng lượng từ tổng công suất được gán chính xác cho các thiết bị mục tiêu. Chỉ số này càng cao (tiệm cận 1) thì mô hình càng tốt.
3. Nhóm Classification Metrics (Đo lường nhận diện trạng thái Bật/Tắt)
NILM thường chuyển đổi kết quả công suất về dạng nhị phân (Bật/Tắt) để đánh giá khả năng nhận diện sự kiện.
- Accuracy (Độ chính xác tổng quát):
- Ý nghĩa: Tỷ lệ các điểm dữ liệu được đoán đúng trạng thái (cả Bật và Tắt).
- Hạn chế: Trong NILM, thiết bị thường Tắt hầu hết thời gian. Nếu mô hình luôn đoán là “Tắt”, Accuracy vẫn rất cao nhưng mô hình vô dụng.
- Balanced Accuracy (Độ chính xác cân bằng):
- Cách tính: Trung bình cộng của Recall (độ nhạy) và Specificity (độ đặc hiệu).
- Ý nghĩa: Khắc phục nhược điểm của Accuracy trên dữ liệu không cân bằng (mô hình phải đoán đúng cả lúc Bật và lúc Tắt).
- Precision (Độ chính xác):
- Ý nghĩa: Trong số những lần mô hình báo thiết bị “Bật”, có bao nhiêu lần là đúng thực tế. Giúp tránh việc báo động giả (False Positive).
- Recall (Độ triệu hồi):
- Ý nghĩa: Trong số những lần thiết bị thực tế đang “Bật”, mô hình tìm ra được bao nhiêu lần. Giúp tránh việc bỏ sót sự kiện (False Negative).
- F1 Score (Điểm F1):
- Cách tính: Trung bình điều hòa giữa Precision và Recall.
- Ý nghĩa: Đây là chỉ số quan trọng nhất để đánh giá phân loại. Nó cân bằng giữa việc không báo ảo và không bỏ sót.
- MR (Miss Rate - Tỷ lệ bỏ sót):
- Cách tính: Tỷ lệ các sự kiện “Bật” thực tế nhưng mô hình đoán là “Tắt” (tương đương với $1 - Recall$).