Nghiên cứu để người khác kiểm được

Câu hỏi ban đầu là: vì sao một số sách ở góc đọc thường được trả nhầm ngăn? Nhóm biên tập có ba tập giấy mô phỏng. Phiếu A là bốn biên bản kiểm kệ cuối ngày: lần 1 có 7 cuốn sai ngăn trên 60 cuốn được kiểm; lần 2 là 5/58; lần 3 là 8/63; lần 4 là 4/61. Phiếu cho thấy lỗi có xuất hiện nhưng không ghi ai trả sách, giờ nào hoặc người dùng đã nhìn loại nhãn nào.

Phiếu B ghi sáu lời nhận xét giả định. Ba lời nhắc ‘màu xanh và màu tím nhìn gần giống nhau khi hành lang tối’; hai lời nói người dùng tìm theo tên thể loại chứ không nhớ mã màu; một lời cho biết bạn trực từng xếp vội cuối giờ. Những lời này gợi các khả năng khác nhau, nhưng không đại diện cho toàn bộ người dùng và không tự chứng minh nguyên nhân của 24 cuốn sai ngăn trong Phiếu A.

Tài liệu C là bản hướng dẫn tự biên soạn về nhãn thông tin: một nhãn dễ dùng nên phối hợp ít nhất hai dấu hiệu khi người đọc cần phân biệt nhanh, chẳng hạn chữ và màu; chữ phải đủ tương phản, mã phải nhất quán. Tài liệu cung cấp nguyên tắc để thiết kế phương án thử, không phải bằng chứng rằng góc đọc đang sai vì thiếu nhãn chữ.

Đặt ba nguồn cạnh nhau, nhóm chưa thể trả lời chắc câu ‘vì sao’, nhưng có thể thu hẹp câu hỏi: trong một mô phỏng tìm ngăn, nhãn chỉ màu và nhãn chữ–màu khác nhau thế nào về thời gian và số lần chọn sai? Câu hỏi mới vừa với dữ liệu có thể tạo, tránh biến lời nhận xét thành kết luận và biến hướng dẫn thành kết quả.

Câu hỏi: trong mô hình sáu ngăn, nhãn chỉ màu và nhãn kết hợp chữ–màu khác nhau thế nào về thời gian tìm đúng ngăn và số lần chọn sai? Vật liệu gồm sáu hộp giấy, mười hai thẻ tên sách hư cấu và đồng hồ. Phương án M dùng sáu màu; phương án CM dùng cùng màu kèm mã A–F. Một người thực hiện sáu lượt với M trước, rồi sáu lượt với CM. Mỗi lần đồng hồ dừng khi thẻ vào đúng ngăn; nếu đặt sai lần đầu thì ghi một lỗi và tiếp tục.

Bảng kết quả: M — thời gian từng lượt 48, 52, 45, 61, 50, 56 giây; thời gian trung bình 52,0 giây; 3/6 lượt chọn sai lần đầu. CM — 36, 33, 41, 35, 38, 34 giây; thời gian trung bình khoảng 36,2 giây; 1/6 lượt chọn sai lần đầu. Trong bộ mô phỏng này, CM có thời gian trung bình ngắn hơn 15,8 giây và ít hơn hai lượt sai lần đầu.

Kết quả ủng hộ việc tiếp tục thử nhãn chữ–màu, nhưng chưa chứng minh nó tốt hơn trong thư viện thật. Chỉ một người làm, số lượt ít và CM luôn được thực hiện sau nên người làm có thể nhanh lên vì đã quen vị trí. Màu in trên giấy cũng không phản ánh ánh sáng hành lang; mã A–F chưa chắc dễ hiểu với người dùng mới.

Một lần làm lại nên đổi thứ tự hai phương án, tráo vị trí hộp giữa các vòng, có nhiều người tham gia tự nguyện và thống nhất cách tính lỗi. Nếu làm với người thật, chỉ thu dữ liệu cần cho câu hỏi, giải thích mục đích, không ghi tên và cho phép dừng. Nghiên cứu nhỏ đáng tin không phải vì có nhiều số, mà vì người đọc biết số được tạo bằng cách nào.

Bản A — Nhan đề: ‘Nhãn chữ–màu chấm dứt việc xếp sai sách’. Biểu đồ cột chỉ ghi 52 và 36,2, không nêu đơn vị; trục dọc bắt đầu ở 34. Đoạn kết viết: ‘Thử nghiệm chứng minh học sinh luôn tìm nhanh hơn khi có chữ, vì não bộ thích thông tin kép.’ Bản không cho biết số lượt, người thực hiện, thứ tự hay nguồn của nhận định về não bộ.

Bản B — Nhan đề: ‘Kết quả 12 lượt tìm ngăn trong mô hình nhãn màu và chữ–màu’. Bảng ghi thời gian trung bình (giây), số lượt sai lần đầu và chú thích ‘dữ liệu giả định’. Phần phương pháp nêu sáu lượt M làm trước sáu lượt CM; kết luận dùng cụm ‘trong bộ mô phỏng này’ và dành một đoạn cho ảnh hưởng thứ tự, cỡ thử nhỏ.

Cả hai bản dùng cùng chênh lệch 15,8 giây. Bản A biến chênh lệch thành lời hứa ‘chấm dứt’, chuyển từ một người mô phỏng sang ‘học sinh luôn’ và thêm cơ chế chưa có nguồn. Trục bắt đầu gần giá trị thấp còn làm chênh lệch trông lớn hơn. Bản B ít kịch tính hơn nhưng cho người đọc biết đại lượng, đơn vị, số lượt và điểm yếu của cách làm.

Một báo cáo dễ kiểm không giấu phần vụng về của nghiên cứu. Nhan đề đúng phạm vi, bảng có nhãn, phương pháp đủ để làm lại, nguồn được ghi và kết luận dừng đúng nơi dữ liệu dừng. Những điều ấy không làm báo cáo yếu; chúng cho phép người khác tiếp tục từ chỗ người viết đã đi tới.