לפני כשנה התפרסם
נייר-מחקר המוכיח באיזו קלות ניתן להגיע לתוצאות חיוביות שגויות – false positive – על ידי גמישות באיסוף מידע, בניתוחו ובפרסומו. "בהרבה מקרים יש
יותר סיכוי שחוקר ימצא ראיות שגויות לקיומו של אפקט מסוים, מאשר ראיות נכונות לאי
קיום אותו אפקט".
הם מייצגים סימולציות ממוחשבות וגם שני
מקרים פרטיים, המוכיחים כמה קל (בצורה לא סבירה) להציג נתונים משמעותיים מבחינה
סטטיסטית לתמיכה בהיפותזה שגויה.
בקיצור: הם מוכיחים כמה קל לטעות
ולהטעות באמצעות הסטטיסטיקה.
הם מציעים גם כמה כללים פשוטים שעשויים
להקטין את "החיוביים השגויים".
הם בעצם מוכיחים את האפקט הידוע ומפורסם
– חוקרים נוטים למצוא תחת כול אבן הוכחות להיפותזות שלהם, ולא להבחין (ולא
לדווח) על נתונים סותרים. הנה הכללים:
1. חוקרים חייבים להחליט על הכללים או קריטריונים לאיסוף
הנתונים שלהם לפני ביצוע האיסוף, ולפרטם במפורש במחקר.
2. חוקרים צריכים לאסוף לפחות 20 נתונים לתא (לנושא) – כלומר
צריך שיהיו מספיק נתונים.
3. צריך לדווח על כול המשתנים שנבדקו.
4. צריך לדווח על כול הניסויים שנעשו, כולל אלה שנכשלו.
5. אם יש נתונים (מדידות) שלא השתמשו בהם בחישוב הסטטיסטי –
חייבים לערוך את החישוב גם עם הנתונים האלה ולהראות את התוצאות.
6. אם אנליזה משתמשת במשנה תלוי (covariate) צריך לדווח את התוצאות של החישוב הסטטיסטי גם ללא משתנה
זה.
והנה 4 כללים פשוטים עבור המבקרים של
המחקרים (ביקורת עמיתים לפני הפרסום):
1. המבקרים יבדקו שהחוקרים עמדו בכללים שלמעלה.
2. המבקרים יהיו יותר נוטים לקבל תוצאות לא מושלמות (בתנאי
שהניתוח נכון).
3. המבקרים צריכים לדרוש מהחוקרים להראות שהתוצאות לא תלויות
בהחלטות שרירותיות לגבי שיטות הניתוח הסטטיסטי.
4. אם ההצדקה לשיטות איסוף הנתונים או הניתוח אינה חזקה, צריך
לדרוש מהחוקרים לשחזר את המחקר (גם בשיטות אחרות).
הביקורת שלמעלה נכתבה אגב מחקרים בתחום
הפסיכולוגיה. מסתבר שלא רק בתחומי האקלים יש שימוש סלקטיבי בנתונים ושימוש מפוקפק
מבחינה מדעית בשיטות ניתוח סטטיסטי.
סטיב מקאינטייר מעריך
שלו הקפידו מדעני האקלים על הכללים הפשוטים האלה, מרבית הביקורת שלו הייתה
נעלמת.
יעקב
אין תגובות:
הוסף רשומת תגובה