Sau khi thu thập dữ liệu khảo sát, nhiều người thường bắt đầu ngay với các bước kiểm định độ tin cậy thang đo, phân tích nhân tố hay hồi quy mà bỏ qua việc kiểm tra chất lượng của bộ dữ liệu. Trong khi đó, chỉ một vài lỗi nhỏ như nhập sai mã, giá trị vượt ngoài thang đo hoặc dữ liệu nhân khẩu học thiếu logic cũng có thể ảnh hưởng đến kết quả phân tích và làm giảm độ tin cậy của nghiên cứu.
Làm sạch dữ liệu (Data Cleaning hoặc Data Screening) là bước tiền xử lý nhằm phát hiện và xử lý các lỗi phát sinh trong quá trình thu thập, nhập liệu và mã hóa dữ liệu trước khi tiến hành các phân tích thống kê. Đây là công việc cần thực hiện đối với hầu hết các nghiên cứu sử dụng bảng hỏi, bất kể sau đó bạn phân tích bằng SPSS, AMOS hay SMARTPLS.
Bài viết này Phạm Lộc Blog sẽ hướng dẫn quy trình kiểm tra và làm sạch dữ liệu khảo sát theo hướng thực hành, tập trung vào những lỗi thường gặp nhất trong các nghiên cứu định lượng bằng phần mềm Excel và SPSS.
1. Làm sạch dữ liệu khảo sát là gì?
Làm sạch dữ liệu là quá trình kiểm tra và xử lý các sai sót trong bộ dữ liệu nhằm đảm bảo dữ liệu phản ánh đúng thông tin thu thập được từ người trả lời. Những sai sót này có thể xuất hiện trong quá trình nhập liệu, mã hóa, tổng hợp dữ liệu hoặc do người tham gia khảo sát trả lời không đầy đủ và không nhất quán.
Mục tiêu của quá trình làm sạch dữ liệu không phải là "làm đẹp" kết quả nghiên cứu mà là loại bỏ các lỗi kỹ thuật có thể ảnh hưởng đến chất lượng phân tích. Một bộ dữ liệu được làm sạch tốt sẽ giúp các bước xử lý tiếp theo diễn ra thuận lợi và hạn chế nguy cơ đưa ra kết luận sai do dữ liệu đầu vào không chính xác.
Làm sạch dữ liệu thường bao gồm các công việc như kiểm tra cấu trúc dữ liệu, phát hiện giá trị ngoài phạm vi, kiểm tra tính hợp lý giữa các biến, xử lý dữ liệu thiếu, phát hiện bảng trả lời bất thường, loại bỏ dữ liệu trùng lặp, xem xét các giá trị ngoại lệ và kiểm tra các biến cần đảo chiều trước khi phân tích.
Không có một quy trình bắt buộc áp dụng cho mọi nghiên cứu, tuy nhiên hầu hết các nghiên cứu định lượng đều trải qua hai giai đoạn chính: làm sạch dữ liệu trên Excel trước khi nhập vào SPSS và kiểm tra dữ liệu trong SPSS trước khi tiến hành các phân tích thống kê. Việc kết hợp cả hai công cụ giúp phát hiện lỗi nhanh hơn, hạn chế sai sót và đảm bảo chất lượng dữ liệu đầu vào.
2. Quy trình làm sạch dữ liệu khảo sát trước trên Excel
2.1 Mã hóa dữ liệu, tên biến
Khi tải dữ liệu thô từ Google Forms hoặc các nền tảng khảo sát về Excel/CSV, dữ liệu thường có cấu trúc mỗi dòng tương ứng với một người trả lời và mỗi cột tương ứng với một câu hỏi hoặc một biến. Tuy nhiên, tiêu đề cột thường giữ nguyên toàn bộ nội dung câu hỏi, trong khi các phương án trả lời có thể được lưu dưới dạng văn bản. Điều này khiến bộ dữ liệu dài, khó quan sát và gây bất tiện trong quá trình kiểm tra cũng như xử lý dữ liệu.
Vì vậy, trước khi tiến hành các bước phân tích trên SPSS, chúng ta nên đặt lại tên biến theo dạng ngắn gọn, thống nhất và dễ nhận diện. Đối với các câu hỏi thông tin cá nhân hoặc câu hỏi lựa chọn, có thể sử dụng các tên biến như GioiTinh, DoTuoi, HocVan, ThuNhap... Đối với các thang đo Likert, nên sử dụng ký hiệu của từng thang đo kết hợp với số thứ tự biến quan sát, chẳng hạn KA1, KA2, KA3, KA4, KA5, KD1, KD2, KD3...
Các phương án trả lời của thang đo Likert cũng cần được mã hóa từ dạng văn bản sang dạng số. Ví dụ, đối với thang Likert 5 mức:
1 = Hoàn toàn không đồng ý
2 = Không đồng ý
3 = Trung lập
4 = Đồng ý
5 = Hoàn toàn đồng ý
Việc chuyển dữ liệu về dạng số giúp bộ dữ liệu gọn và dễ kiểm tra hơn. Chúng ta có thể nhanh chóng phát hiện giá trị bị thiếu (missing), giá trị nằm ngoài phạm vi cho phép hoặc các trường hợp nhập liệu sai. Chẳng hạn, nếu một biến Likert 5 mức xuất hiện giá trị 0, 6, 15 hoặc ký tự văn bản thì có thể nhận biết ngay đây là dữ liệu cần kiểm tra lại.
Bên dưới là giao diện dữ liệu khảo sát gốc thu về, tên biến rất dài:
Chúng ta nên mã hóa tên biến gọn lại để giao diện dễ nhìn hơn giống ảnh bên dưới. Việc chuyển về dạng số cũng thuận tiện cho bước dùng hàm kiểm tra vấn đề của dữ liệu:
2.2 Làm sạch dữ liệu khảo sát: Loại phiếu câu hỏi sàng lọc (screening questions)
Sau khi hoàn tất mã hóa biến, bước làm sạch dữ liệu đầu tiên chúng ta nên thực hiện là kiểm tra câu hỏi sàng lọc (screening questions). Mục đích là loại ngay những phiếu không thuộc đối tượng hoặc không đáp ứng điều kiện tham gia nghiên cứu, trước khi thực hiện các bước làm sạch dữ liệu tiếp theo.
Ví dụ, nghiên cứu hướng đến những người đã từng mua hàng trực tuyến và có câu hỏi sàng lọc “Bạn đã từng mua hàng trực tuyến chưa?”. Những người trả lời “Chưa từng mua” không đáp ứng điều kiện của mẫu nghiên cứu và nên được loại khỏi bộ dữ liệu.
Trên Excel, chúng ta dùng lệnh Filter (Bộ lọc) tại biến sàng lọc, lọc những trường hợp không đáp ứng điều kiện và xóa các dòng tương ứng.
2.3 Làm sạch dữ liệu khảo sát: Loại bỏ dữ liệu trùng lặp
Bước tiếp theo là kiểm tra các phản hồi bị trùng lặp. Tình trạng này thường xảy ra khi một người thực hiện khảo sát nhiều lần, gửi lại biểu mẫu do không chắc phản hồi trước đó đã được ghi nhận, hoặc phát sinh các bản ghi trùng trong quá trình tổng hợp dữ liệu.
Có thể kiểm tra trùng lặp dựa trên các thông tin có khả năng nhận diện từng phản hồi như Email, mã số sinh viên (MSSV), số điện thoại, mã ID hoặc một trường thông tin định danh khác có trong bảng khảo sát. Trong Excel, có thể sử dụng Conditional Formatting → Highlight Cells Rules → Duplicate Values hoặc hàm COUNTIF để nhanh chóng phát hiện những giá trị xuất hiện từ hai lần trở lên. Bạn có thể tìm kiếm Google với từ khóa "Cách loại phiếu duplicate trong Excel" để tìm hiểu cách thực hiện chi tiết nhé.
Trường hợp bảng hỏi không thu thập thông tin định danh, có thể kiểm tra các dòng có toàn bộ nội dung trả lời giống nhau hoàn toàn. Nếu hai phiếu khảo sát có cùng thông tin nhân khẩu học, cùng đáp án trả lời toàn bộ câu hỏi và thời gian gửi gần nhau thì cần được đánh dấu để kiểm tra kỹ hơn.
Sau khi xác định chắc chắn một người đã gửi khảo sát nhiều lần, nên chỉ giữ lại một phản hồi hợp lệ và loại bỏ các phản hồi trùng. Đồng thời, nên ghi lại số lượng quan sát bị loại ở bước này để thuận tiện cho việc báo cáo quá trình làm sạch dữ liệu và xác định cỡ mẫu chính thức được sử dụng cho các bước phân tích tiếp theo.
2.4 Làm sạch dữ liệu khảo sát: Loại bỏ phiếu khuyết (missing)
Dữ liệu khuyết (missing) là những phiếu khảo sát có một hoặc nhiều câu hỏi bị bỏ trống, không có câu trả lời. Trước khi phân tích, cần kiểm tra và xử lý các phiếu này để đảm bảo tính chính xác của kết quả thống kê trong trường hợp dùng hoặc không dùng phiếu có ô khuyết giá trị.
Cách kiểm tra nhanh trên Excel:
- Bôi đen toàn bộ vùng dữ liệu khảo sát cần kiểm tra.
- Chọn Home → Find & Select → Go To Special.
- Chọn Blanks → OK.
- Excel sẽ tự động chọn các ô đang bị bỏ trống để dễ dàng xác định những phiếu có dữ liệu khuyết.
Nếu nghiên cứu không chấp nhận giá trị khuyết, cần loại các phiếu có câu trả lời bị thiếu. Nếu nghiên cứu cho phép một tỷ lệ missing nhất định, những phiếu chỉ thiếu một vài giá trị vẫn có thể được giữ lại và xử lý bằng phương pháp phù hợp. Tuy nhiên, nếu một phiếu bỏ trống quá nhiều câu hỏi hoặc thiếu phần lớn nội dung quan trọng thì nên cân nhắc loại bỏ để đảm bảo chất lượng dữ liệu.
2.5 Làm sạch dữ liệu khảo sát: Loại bỏ phiếu bất logic thông tin
Một số phiếu khảo sát đáp viên trả lời đầy đủ các câu hỏi nhưng thông tin giữa các câu hỏi lại bất logic hoặc mâu thuẫn với nhau. Những trường hợp này chúng ta cần kiểm tra làm sạch.
Cách thực hiện đơn giản nhất trong Excel là dùng lệnh lọc Filter để lọc các đáp án cần xem xét giữa các cột dữ liệu với nhau.
Ví dụ một số trường hợp bất logic:
- Người trả lời 18 tuổi nhưng có trình độ Thạc sĩ.
- Người trả lời chưa từng mua hoặc sử dụng sản phẩm nhưng vẫn đánh giá chất lượng sản phẩm/dịch vụ.
- Người trả lời chọn giới tính Nam nhưng vẫn trả lời các câu hỏi chỉ dành riêng cho Nữ.
- Các câu hỏi có điều kiện hoặc câu hỏi sàng lọc không thống nhất với phần trả lời phía sau.
2.6 Làm sạch dữ liệu: Loại bỏ phiếu có giá trị ngoài phạm vi (out of range)
Giá trị ngoài phạm vi (Out of Range) là những giá trị nằm ngoài khoảng giá trị được quy định của biến. Đây có thể là lỗi do chúng ta nhập liệu, mã hóa sai hoặc dữ liệu không hợp lệ và cần được kiểm tra trước khi phân tích.
Ví dụ:
- Thang đo Likert từ 1–5 nhưng dữ liệu xuất hiện giá trị 0, 6 hoặc 7.
- Biến giới tính được mã hóa 1 = Nam, 2 = Nữ nhưng xuất hiện giá trị 3.
- Biến độ tuổi chỉ chấp nhận từ 18–60 tuổi nhưng dữ liệu xuất hiện giá trị ngoài khoảng này.
Trên Excel, có thể sử dụng lệnh Filter cho từng cột và quan sát danh sách các giá trị xuất hiện. Với các biến dạng số, có thể sắp xếp từ nhỏ đến lớn hoặc từ lớn đến nhỏ để nhanh chóng phát hiện các giá trị bất thường. Hoặc trên SPSS, vào Analyze → Descriptive Statistics → Frequencies, đưa các biến cần kiểm tra vào ô Variable(s) và chọn OK. Trong bảng kết quả, quan sát các giá trị xuất hiện của từng biến để phát hiện giá trị nằm ngoài phạm vi cho phép. Ví dụ, với thang Likert 1–5, nếu bảng tần số xuất hiện giá trị 0 hoặc 6 thì cần kiểm tra lại dữ liệu.
Khi phát hiện giá trị ngoài phạm vi, cần kiểm tra nguyên nhân trước khi xử lý. Nếu có thể xác định chính xác đây là lỗi nhập liệu thì có thể sửa lại theo dữ liệu gốc. Nếu không thể xác định giá trị đúng và dữ liệu ảnh hưởng đến tính hợp lệ của phiếu, chúng ta cân nhắc loại phiếu đó.
2.7 Làm sạch dữ liệu: Loại bỏ phiếu bao lô một đáp án
Phiếu bao lô một đáp án là trường hợp người tham gia chọn cùng một mức trả lời cho toàn bộ hoặc gần như toàn bộ các câu hỏi thang đo Likert, chẳng hạn tất cả đều chọn 3 hoặc tất cả đều chọn 5. Đây có thể là dấu hiệu người trả lời không đọc kỹ nội dung câu hỏi và cần được kiểm tra.
Việc loại phiếu xấu dạng này nên áp dụng hàm cho các câu hỏi thang đo Likert, không đưa các biến thông tin cá nhân như giới tính, tuổi, nghề nghiệp vào phạm vi tính.
Trên Excel, có thể sử dụng hàm STDEV.P để tính độ lệch chuẩn câu trả lời của từng phiếu.
Ví dụ: Trong dữ liệu ở hình trên, các câu hỏi thang đo nằm từ cột Y đến AI, tương ứng với các biến A1 đến D2. Tại ô AJ2, nhập công thức: =STDEV.P(Y2:AI2)
Sau đó kéo công thức xuống cho toàn bộ các phiếu khảo sát. Kết quả cho thấy:
- Dòng 5: tất cả câu trả lời từ A1 đến D2 đều bằng 5, do đó STDEV.P = 0.
- Dòng 8: tất cả câu trả lời đều bằng 3, do đó STDEV.P = 0.
- Các dòng khác có câu trả lời thay đổi giữa các mức nên STDEV.P > 0, chẳng hạn 0.67, 0.43, 0.64...
Tiếp theo, sử dụng Filter tại cột AJ và lọc những trường hợp có STDEV.P = 0 để xác định nhanh các phiếu bao lô một đáp án và cân nhắc loại khỏi dữ liệu.
- STDEV.P = 0: Tất cả câu trả lời trong phạm vi kiểm tra đều giống nhau (nên cân nhắc loại bỏ).
- STDEV.P > 0: Có sự thay đổi giữa các câu trả lời.
Lưu ý: Kết quả STDEV.P = 0 là dấu hiệu để kiểm tra chứ không nên mặc định tất cả các trường hợp này đều là phiếu không hợp lệ; quyết định loại cần dựa trên đặc điểm bảng hỏi và nghiên cứu.
3. Làm sạch và kiểm tra dữ liệu trên SPSS
Sau khi thực hiện đầy đủ các bước làm sạch dữ liệu trên Excel ở phần trên, về cơ bản bộ dữ liệu đã có thể được đưa vào SPSS, AMOS hoặc SMARTPLS để thực hiện các phân tích tiếp theo. Chúng ta không nhất thiết phải thực hiện thêm một quy trình làm sạch dữ liệu riêng trên SPSS.
Một số tài liệu có thể đề cập thêm đến việc kiểm tra Outlier, phân phối chuẩn, Z-score, Boxplot... trên SPSS. Tuy nhiên, đây không phải là những bước bắt buộc đối với mọi nghiên cứu. Việc có cần thực hiện hay không phụ thuộc vào phương pháp phân tích, yêu cầu của đề tài và đặc điểm của bộ dữ liệu.
3.1 Kiểm tra lại phạm vi giá trị của các biến
Sau khi hoàn thành các bước làm sạch cơ bản trên Excel, dữ liệu được nhập vào SPSS để thực hiện một số kiểm tra bổ sung trước khi tiến hành Cronbach's Alpha, EFA, hồi quy hoặc các phân tích khác.
Tạo giao diện SPSS, bạn vào Analyze → Descriptive Statistics → Descriptives. Đưa các biến định lượng hoặc các biến quan sát vào, sau đó kiểm tra Minimum, Maximum, Mean và Std. Deviation.
Phần này đặc biệt hữu ích để rà soát lại Minimum và Maximum. Ví dụ thang Likert 1–5 thì Minimum và Maximum của các biến không được nằm ngoài khoảng 1–5.
Tuy nhiên, mục này có phần trùng với Out of Range trước đó trên Excel, nên nếu bạn làm kỹ ở phần Excel rồi thì bước này bạn không cần thực hiện cũng được.
3.2 Kiểm tra và xử lý câu hỏi đảo chiều (reversed questions) nếu có
Nếu bảng hỏi có câu hỏi đảo chiều, ngoài mục đích sử dụng trong xây dựng thang đo, chúng ta có thể dựa vào các câu hỏi này để kiểm tra thêm tính nhất quán trong cách trả lời của đáp viên.
Ví dụ, một nhóm thang đo gồm các câu A1, A2, A3 được hỏi theo chiều thuận và A4R được thiết kế theo chiều ngược lại. Nếu một đáp viên có mức trả lời trung bình của A1, A2, A3 ở mức cao, chẳng hạn khoảng 4–5, thì câu A4R về mặt nội dung thường được kỳ vọng có mức trả lời theo chiều ngược lại, khoảng 1–2.
Nếu đáp viên chọn A1, A2, A3 đều ở mức cao và A4R cũng ở mức cao tương tự, đây có thể là dấu hiệu câu trả lời thiếu nhất quán hoặc đáp viên không chú ý đến nội dung câu hỏi đảo chiều. Ngược lại, nếu các câu thuận có mức trả lời cao trong khi câu đảo chiều có mức thấp tương ứng thì cách trả lời có tính nhất quán hơn.
Có thể thực hiện kiểm tra này trên SPSS hoặc Excel bằng cách tính giá trị trung bình của các câu thuận trong cùng nhóm, sau đó đối chiếu với giá trị của câu hỏi đảo chiều.
Cũng cần lưu ý rằng, việc câu đảo chiều không thể hiện xu hướng ngược lại chỉ nên được xem là dấu hiệu để kiểm tra phiếu, không nên tự động loại một phiếu chỉ vì một câu trả lời không khớp. Đáp viên hoàn toàn có thể có quan điểm khác nhau đối với từng phát biểu. Chỉ nên cân nhắc loại khi sự bất nhất thể hiện rõ ràng, lặp lại ở nhiều câu đảo chiều hoặc kết hợp với các dấu hiệu phiếu kém chất lượng khác.
3.3 Kiểm tra giá trị ngoại lệ (Outlier) nếu nghiên cứu yêu cầu
Outlier là những quan sát có giá trị khác biệt đáng kể so với phần lớn dữ liệu còn lại. Trên SPSS, chúng ta có thể kiểm tra bằng cách vào: Analyze → Descriptive Statistics → Explore. Sau đó sử dụng Boxplot để xem xét các trường hợp có giá trị bất thường.
Tuy nhiên, phát hiện outlier không đồng nghĩa với việc phải loại quan sát đó. Một giá trị khác biệt vẫn có thể là dữ liệu thực tế và hoàn toàn hợp lệ. Việc loại outlier không có căn cứ còn có thể làm thay đổi đặc điểm của mẫu và trong một số trường hợp khiến kết quả các phân tích tiếp theo tệ hơn.
Do đó, việc kiểm tra và xử lý outlier cần dựa trên yêu cầu của phương pháp phân tích, đặc điểm dữ liệu và quy định của nghiên cứu. Nếu đề tài không yêu cầu kiểm định chặt chẽ về ngoại lệ hoặc các giả định phân phối, đồng thời dữ liệu không có dấu hiệu sai sót rõ ràng, chúng ta không nhất thiết phải loại quan sát chỉ vì chúng được SPSS đánh dấu là outlier.
4. Có cần làm tất cả các bước kiểm tra làm sạch dữ liệu không?
Không phải bộ dữ liệu nào cũng cần thực hiện tất cả các bước làm sạch được đề cập trong bài viết. Việc làm sạch dữ liệu cần dựa trên đặc điểm bảng hỏi, chất lượng dữ liệu thu thập và yêu cầu của phương pháp phân tích.
Đối với dữ liệu khảo sát thông thường, các bước kiểm tra cơ bản trên Excel như câu hỏi sàng lọc, dữ liệu trùng lặp, giá trị khuyết (Missing), thông tin bất logic, giá trị ngoài phạm vi (Out of Range) và phiếu bao lô một đáp án đã giúp phát hiện phần lớn các phiếu có vấn đề trước khi đưa dữ liệu vào phân tích.
Một số kiểm tra bổ sung trên Excel hoặc SPSS như đối chiếu câu hỏi đảo chiều, kiểm tra Outlier, phân phối dữ liệu... chúng ta chỉ thực hiện khi bảng hỏi có thiết kế tương ứng hoặc phương pháp nghiên cứu yêu cầu. Đây không phải những bước bắt buộc phải áp dụng cho mọi bộ dữ liệu.
Quan trọng hơn, làm sạch dữ liệu không có nghĩa là cố gắng loại càng nhiều phiếu càng tốt. Chúng ta chỉ nên loại khi có căn cứ cho thấy phiếu không đáp ứng đối tượng nghiên cứu, có lỗi dữ liệu hoặc xuất hiện những dấu hiệu rõ ràng về chất lượng câu trả lời.
Sau khi hoàn tất quá trình làm sạch trên Excel và các kiểm tra bổ sung trên SPSS nếu cần, nên lưu bộ dữ liệu đã làm sạch thành một file mới và giữ nguyên file dữ liệu gốc. Điều này giúp chúng ta có thể đối chiếu lại dữ liệu và xác định những phiếu đã loại khi cần thiết.
5. Kết luận
Làm sạch dữ liệu trong nghiên cứut là bước nên được thực hiện trước khi bắt đầu các phân tích thống kê. Việc kiểm tra kỹ từ dữ liệu sàng lọc, phiếu trùng lặp, missing, thông tin bất logic, giá trị ngoài phạm vi đến các kiểu trả lời bất thường sẽ giúp chúng ta có một bộ dữ liệu đáng tin cậy hơn cho các bước phân tích tiếp theo.
Tuy nhiên, mục tiêu của làm sạch dữ liệu không phải là loại càng nhiều phiếu càng tốt hay điều chỉnh dữ liệu để kết quả phân tích trở nên đẹp hơn. Mỗi trường hợp cần được xem xét dựa trên đặc điểm bảng hỏi, đối tượng khảo sát và yêu cầu cụ thể của nghiên cứu.
Bạn có thể tham khảo thêm các bài hướng dẫn về SPSS, AMOS, SMARTPLS và nghiên cứu định lượng tại Phạm Lộc Blog. Nếu cần hỗ trợ xử lý và phân tích dữ liệu cho luận văn, nghiên cứu khoa học, bạn có thể tham khảo thêm dịch vụ xử lý SPSS của bên mình nhé.