Hệ số Q2 predict trong SMARTPLS (Q Square) là một chỉ số dùng để đánh giá khả năng dự đoán (predictive relevance) của mô hình PLS-SEM đối với dữ liệu mới ngoài mẫu (out-of-sample). Cụ thể, nó đo lường mức độ mà mô hình chạy với dữ liệu thực nghiệm đã thu thập được (dữ liệu trong mẫu - in sample) có thể dự đoán chính xác hay không dữ liệu mới chưa thu thập được (dữ liệu ngoài mẫu - out of sample).
1. Năng lực dự báo và hệ số Q2 predict trong SMARTPLS 4
Do các thuật ngữ dữ liệu ngoài mẫu, dữ liệu trong mẫu, khả năng dự đoán khá khó hiểu và dịch sang Tiếng Việt tương đối trừu tượng. Mình sẽ cố gắng giải thích dễ hiểu nhất về "khả năng dự báo" được đề cập liên quan đến chỉ số Q2 predict qua một ví dụ thực tế.
Giả sử bạn có một nghiên cứu mô hình SERVQUAL (5 biến độc lập) tác động lên biến phụ thuộc Sự hài lòng chất lượng dịch vụ (các bạn không biết về mô hình này có thể search Google để tìm hiểu thêm). Nghiên cứu này đã thu được dữ liệu mẫu 300 người và đã xử lý xong xuôi mô hình đo lường, mô hình cấu trúc.
1.1 Dữ liệu trong mẫu (In-sample data)
- Dữ liệu trong mẫu là toàn bộ 300 kết quả khảo sát mà mình đã thu thập được và sử dụng để chạy mô hình trong SMARTPLS.
- Khi bạn xem R² hay các hệ số đường dẫn trong SMARTPLS, toàn bộ các tính toán đó dựa trên chính dữ liệu này.
Vấn đề: Nếu chỉ nhìn R², bạn chỉ biết mô hình giải thích tốt dữ liệu 300 khảo sát đã có nhưng không biết nếu gặp dữ liệu mới thì kết quả có còn đúng không.
Ví dụ trong nghiên cứu ở trên, bạn dùng 300 mẫu để tính đường dẫn từ SERVQUAL → Sự hài lòng thu được R² của biến Sự hài lòng. Giá trị R² = 0.65 nghĩa là mô hình giải thích 65% biến thiên của “Sự hài lòng” trong chính 300 mẫu đó.
1.2 Dữ liệu ngoài mẫu (Out-of-sample data)
- Dữ liệu ngoài mẫu là những dữ liệu mới mà bạn chưa thu thập được. Trong thực tế, bạn sẽ cần phải đi thu thập thêm dữ liệu (ví dụ: thêm 50 hoặc 100 người khác) để kiểm tra mô hình. Tuy nhiên, trong SMARTPLS, việc tính toán dữ liệu ngoài mẫu được thực hiện bằng một kỹ thuật gọi là PLSpredict, mà không cần bạn phải thu thập thêm dữ liệu thực tế.
Trong Q² predict (PLSpredict), SMARTPLS sẽ giả lập dữ liệu ngoài mẫu bằng cách chia bộ dữ liệu 300 thành nhiều phần (ví dụ k=10 folds):
- Chọn 270 mẫu (training set - tập dữ liệu huấn luyện) để chạy mô hình. 30 mẫu khảo sát bỏ ra được gọi là "dữ liệu ngoài mẫu".
- Dùng mô hình với mẫu 270 đó dự đoán 30 mẫu mới (test set - tập dữ liệu thử nghiệm).
- So sánh giá trị dự đoán 30 mẫu mới với giá trị thực 30 mẫu bỏ ra ban đầu → tính sai số.
- Lặp lại cho đến khi tất cả 300 mẫu đều từng đóng vai trò là “ngoài mẫu” một lần.
- Cuối cùng, SMARTPLS so sánh các giá trị dự đoán được với các giá trị thực tế trong các tập "ngoài mẫu tạm thời" này để tính toán giá trị Q² predict.
Như vậy, cụm "ngoài mẫu" ở đây là một phần dữ liệu gốc, nhưng được “giữ lại” khi chạy mô hình, chỉ dùng để test chứ không cho mô hình thấy khi ước lượng.
1.3 Ý nghĩa của "khả năng dự báo" và hệ số Q2 predict
Q² predict cho thấy nếu bạn lấy mô hình SERVQUAL này áp dụng cho khách hàng mới (không nằm trong 300 mẫu ban đầu), mô hình có dự báo chính xác không.
Cụm “khả năng dự báo” trong Q² predict không phải là “dự báo tương lai” theo nghĩa thời gian, mà là dự đoán được giá trị của dữ liệu mới chưa dùng để chạy mô hình. Khi bạn chạy PLS-SEM thông thường, R² chỉ cho biết mô hình giải thích tốt dữ liệu đã dùng để chạy mô hình (in-sample). Nhưng một mô hình có R² cao vẫn có thể dự đoán kém khi gặp dữ liệu mới.
2. Cốt lõi của Q2 predict
Bản chất việc đánh giá Q² predict là việc so sánh mô hình PLS với mô hình Benchmark, chủ yếu là so sánh với mô hình IA.
2.1 Mô hình Benchmark (mốc so sánh)
Trong PLSpredict, benchmark nghĩa là một cách dự đoán ngây thơ (naïve model), không dùng cấu trúc PLS-SEM, chỉ dựa vào quy tắc đơn giản. Có hai loại benchmark chính:
- Indicator Average (IA – dự đoán bằng giá trị trung bình): mọi quan sát mới đều được dự đoán bằng giá trị trung bình của tập dữ liệu huấn luyện. Ví dụ: nếu điểm Sự hài lòng trung bình trong 270 khách hàng training là 3.8, thì với khách hàng mới → dự đoán Sự hài lòng = 3.8.
- Linear Model (LM – mô hình hồi quy tuyến tính): thay vì dùng cấu trúc PLS-SEM, LM sẽ hồi quy trực tiếp tất cả biến quan sát độc lập (exogenous indicators) lên từng biến quan sát phụ thuộc (endogenous indicators). Ví dụ: dự đoán từng chỉ báo của Sự hài lòng bằng hồi quy tuyến tính từ tất cả chỉ báo của biến độc lập.
Mục tiêu benchmark: làm “đối chứng” để xem liệu PLS-SEM có thực sự cải thiện dự báo hay không.
2.2 Mô hình PLS (PLS-SEM model)
Đây là mô hình Partial Least Squares Structural Equation Modeling mà bạn đã xây dựng trong SMARTPLS. Nó có cấu trúc đường dẫn giữa các biến tiềm ẩn (latent variables), và mỗi biến tiềm ẩn được đo bằng nhiều biến quan sát.
Mục tiêu của PLS là ứớc lượng hệ số đường dẫn (β) giữa các biến tiềm ẩn và tạo ra giá trị dự đoán cho biến phụ thuộc dựa trên mối quan hệ lý thuyết.
Trong ví dụ ở trên:
- PLS-SEM model: SERVQUAL (5 thành phần) → Sự hài lòng.
- Benchmark IA: Dự đoán Sự hài lòng cho khách hàng mới luôn bằng trung bình Sự hài lòng của mẫu cũ.
- Benchmark LM: Dự đoán từng chỉ báo Sự hài lòng bằng hồi quy tuyến tính từ tất cả chỉ báo SERVQUAL, bỏ qua cấu trúc SERVQUAL → Hài lòng.
2.3 So sánh PLS vs. Benchmark
Trong Benchmark có hai mô hình, nhưng chủ yếu chúng ta so sánh mô hình PLS với mô hình trung bình (IA). Vậy tại sao phải so Q² predict với mô hình trung bình? Vì nếu mô hình PLS-SEM của bạn không dự đoán chính xác hơn việc chỉ đoán bằng trung bình (rất "ngây thơ", rất cơ bản), thì mô hình chẳng có giá trị dự báo gì cả.
- Nếu Q² predict > 0: sai số dự đoán của mô hình < sai số khi chỉ dùng trung bình → mô hình có giá trị dự báo.
- Nếu Q² predict ≤ 0: mô hình dự đoán còn tệ hơn hoặc không tốt hơn việc chỉ dùng trung bình → mô hình không đáng tin cậy cho dữ liệu mới.
Liên hệ với ví dụ ban đầu (SERVQUAL → Sự hài lòng, N=300):
- Giả sử chạy ra Q² predict cho biến Sự hài lòng = 0.45 > 0 → mô hình dự báo tốt hơn nhiều so với benchmark trung bình, mức trung bình–cao.
- Giả sử chạy ra Q² predict cho biến Sự hài lòng ≤ 0 → mô hình dự đoán không hơn gì đoán mò theo trung bình → tức là mô hình chỉ phù hợp trên dữ liệu cũ (in-sample), không hữu ích cho dữ liệu mới.
3. Tại sao Q2 predict chỉ có cho biến phụ thuộc mà không có cho biến độc lập?
Q² predict được thiết kế để đo khả năng dự báo của mô hình đối với biến phụ thuộc
Trong PLS-SEM, biến phụ thuộc (endogenous latent variable) là đối tượng được mô hình “dự đoán” dựa trên các biến độc lập.
Q² predict thực chất đo lường xem mô hình dự đoán giá trị của biến phụ thuộc (từ dữ liệu mới ngoài mẫu) có tốt không. Do đó, chỉ số này chỉ có ý nghĩa với biến phụ thuộc – vì đó là biến được dự báo trong quá trình cross-validation.
Biến độc lập thì sao?
Biến độc lập (exogenous latent variable) không bị dự đoán trong mô hình → nó chỉ đóng vai trò là “đầu vào” để giải thích biến phụ thuộc.
Vì vậy, không có khái niệm dự báo biến độc lập từ mô hình (nó đã được cho sẵn trong dữ liệu khảo sát).
Do đó, SMARTPLS không tính Q² predict cho biến độc lập, vì không cần phải kiểm tra khả năng dự báo của mô hình với biến này.
Trong ví dụ ở mô hình ban đầu:
- SERVQUAL (biến độc lập): luôn có dữ liệu từ khảo sát (các chiều như Reliability, Responsiveness, Assurance…). Mô hình không dự đoán lại nó.
- Sự hài lòng chất lượng dịch vụ (biến phụ thuộc): được mô hình dự đoán dựa trên SERVQUAL.
Vì vậy Q² predict sẽ cho bạn biết: với dữ liệu khách hàng mới, từ 5 biến độc lập trong SERVQUAL đo được, mô hình có dự đoán chính xác mức độ Sự hài lòng không.
4. Phân tích Q2 Predict trong SMARTPLS 4
Xét một mô hình nghiên cứu ví dụ như bên dưới. Trong mô hình này có hai biến có vai trò phụ thuộc để đánh giá Q2 Predict là NB và TT.
Phiên bản SMARTPLS 3 không có PLS Predict, bạn chỉ có thể chạy phân tích này trên phiên bản 4. Bạn có thể mua phần mềm SMARPLS Pro full bản quyền vĩnh viễn tại đây.
Tạo giao diện phần mềm SMARTPLS 4 (mình đang thực hành trên phiên bản 4.1.1.2), vào Calculate > PLSpredict/CVPAT.
Trong cửa sổ hiện ra, chúng ta sẽ thiết lập tham số của cross-validation thuật toán PLSpredict/CVPAT:
- Number of folds (số lượng fold trong k-fold cross validation):
- Mặc định SMARTPLS 4 để là 10 (10-fold CV). Dữ liệu được chia thành 10 phần bằng nhau → mỗi lần dùng 9 phần để train, 1 phần để test, lặp lại 10 lần cho đến khi mọi quan sát đều từng nằm trong test set.
- Range hợp lý: Tối thiểu nên từ 5 đến 15 folds.
- No. of repetitions (số lần lặp lại k-fold cross validation):
- Mặc định SMARTPLS 4 để là 10. Sau khi chạy k-fold xong, quy trình này được lặp lại nhiều lần với cách chia fold khác nhau để đảm bảo kết quả ổn định, không phụ thuộc vào một lần chia dữ liệu ngẫu nhiên.
- Range hợp lý: 5–10 repetitions thường là đủ trong nghiên cứu học thuật. Nếu muốn kết quả “mượt” hơn (ít bị ảnh hưởng bởi random split) có thể tăng lên 20 hoặc 30, nhưng thời gian chạy sẽ lâu hơn đáng kể.
- Random number generator:
- Fixed seed: dùng cùng một số seed mỗi lần chạy, giúp kết quả có thể tái lập y hệt khi bạn chạy lại (phù hợp nghiên cứu khoa học).
- Random seed: mỗi lần chạy phần mềm chọn seed khác, sai số hơi dao động.
5. Đọc kết quả Q2 Predict trong SMARTPLS 4
Ngưỡng đánh giá Q2 predict theo Hair và cộng sự (2022) nếu lớn hơn 0 là mô hình có khả năng dự báo. Nghiên cứu mới không còn chia ra các ngưỡng Q2 yếu, trung bình, mạnh như tài liệu cũ năm 2019 vì các ngưỡng này không thực sự chính xác. Do vậy, khi trình bày kết quả Q2 predict vào bài luận, bài nghiên cứu, bạn chi cần đảm bảo kết quả Q2 predict > 0 là được.
- Nếu Q2 predict ≤ 0 → mô hình không có khả năng dự báo.
- Nếu Q2 predict > 0 → mô hình có khả năng dự báo
Chúng ta tập trung chủ yếu vào bảng PLSpredict LV summary. Đây là kết quả Q2 predict ở cấp biến tiềm ẩn (latent variable) có vai trò phụ thuộc trong mô hình.
→ Cả hai biến phụ thuộc NB và TT đều có Q² predict > 0, mô hình có giá trị dự báo ngoài mẫu.
- NB: Q²_predict = 0.722 → rất cao, mô hình có năng lực dự báo mạnh.
- TT: Q²_predict = 0.387 → dương và khá tốt, có năng lực dự báo ở mức trung bình – khá.
Bảng tiếp theo, PLSpredict MV summary. Đây là kết quả ở cấp độ chỉ báo/ biến quan sát (manifest variable).
→ Q² predict của tất cả chỉ báo (NB1–NB4, TT1–TT5) đều > 0, mọi biến quan sát đều có giá trị dự báo.
So sánh RMSE của PLS-SEM với benchmark (LM, IA):
- Với NB1–NB4: RMSE PLS-SEM (0.425–0.452) thấp hơn LM và IA → dự báo mạnh.
- Với TT1–TT5: RMSE PLS-SEM (0.693–0.711) xấp xỉ hoặc thấp hơn LM, và thấp hơn nhiều so với IA → dự báo hợp lý, nhưng yếu hơn nhóm NB.
Kết luận: NB (các chỉ báo NB1–NB4) có dự báo mạnh và ổn định. TT (TT1–TT5) vẫn có dự báo, nhưng mức độ dự báo yếu hơn, mô hình chưa dự đoán TT tốt bằng NB.
Bảng cuối cùng, CVPAT LV summary – PLS-SEM vs. Indicator Average (IA). Đây là kiểm định so sánh tổn thất dự đoán (loss) giữa mô hình PLS-SEM và một mô hình đơn giản hơn (IA = chỉ dùng trung bình các chỉ báo).
→ Biến NB: PLS loss = 0.194 < IA loss = 0.440, mô hình PLS-SEM dự đoán tốt hơn nhiều so với baseline.
Biến TT: PLS loss = 0.483 < IA loss = 0.644, mô hình PLS-SEM cũng tốt hơn baseline, nhưng mức chênh ít hơn NB.
Giá trị p = 0.000 cho cả hai, sự khác biệt có ý nghĩa thống kê. Mô hình PLS-SEM vượt trội hơn baseline (IA), khẳng định mô hình có năng lực dự báo thực sự.
------
Nguồn tham khảo:
Shmueli, G., Ray, S., Estrada, J. M. V., & Chatla, S. B. (2016). The Elephant in the Room: Predictive Performance of PLS Models. Journal of Business Research, 69(10), 4552-4564.
Hair, J. F., Hult, G. T. M., Ringle, C. M., & Sarstedt, M. (2022). A Primer on Partial Least Squares Structural Equation Modeling (PLS-SEM) (3 ed.). Thousand Oaks, CA: Sage
https://smartpls.com/documentation/algorithms-and-techniques/predict
https://github.com/ISS-Analytics/pls-predict