דפים

29 במאי 2015

המדע מקולקל


את זה אומר ריצ'רד הורטון, העורך הראשי של הירחון "לנסט Lancet " - כתב העת המדעי לנושאים רפואיים, החשוב ביותר בבריטניה ואולי בעולם כולו.

הוא מדווח על סימפוזיון על הנושא: שחזוריות – reproducibility – ואמינות – reliability במחקר ביו-רפואי. "הרבה ממה שמתפרסם (מאמרים מדעיים) אינו נכון" אמר אחד המשתתפים, אבל רק לאחר שהבטיח לעצמו עילום שם.

הבעיה עם המדע פשוטה – אמר הורטון – הרבה ממה שמתפרסם בספרות המדעית, אולי אפילו עד כדי חצי, פשוט לא נכון. והדבר החמור הוא שהמדענים יודעים זאת (כמו שאמר האיש בעילום שם בסימפוזיון) אבל מפחדים לדבר. הוא ממשיך: הבעיות הן: מדגמים קטנים, אפקטים זעירים, אנליזה לא נכונה, ניגודי עניינים, יחד עם אובססיה (שיגעון) לדבוק במגמות אופנתיות (fashionable trends) בעלות חשיבות מפוקפקת. המדע עשה תפנית לכיוון חשוך (דברי הורטון). כמו שאמר אחד המשתתפים: "תוצאות מפוקפקות משיגות הישגים אישיים".  היוקרה האישית של מדענים נמדדת על פי מספר המחקרים שפרסמת בכתבי עת מדעיים יוקרתיים, ולא על פי נכונות המחקרים או חשיבות הממצאים.

המגפה של התנהגותית מחקרית גרועה היא מדאיגה. ברדיפה אחרי סיפור מושך, מדענים, לעיתים קרובות, "מהנדסים" או מפברקים את הנתונים כדי להתאימם לתיאוריה שלהם על העולם (לאמונות שלהם). או שהם משחזרים בדיעבד השערות כדי להתאימן לנתונים. עורכי הז'ורנלים (כתבי עת מדעיים) ראויים גם הם לגינוי. אנו, אומר נורטון, (עורך ז'ורנל) , עוזרים ותומכים בהתנהגות הגרועה ביותר... האהבה שלנו ל"משמעותיות" – significance – מזהמת את הספרות בהרבה סיפורי אגדות סטטיסטיים (פברוקים).
גם האוניברסיטאות, במאבקן המתמיד לתקציבי מחקר, מעודדות פרסום בכול מחיר, גם של מחקרים מפוקפקים. והמדענים עצמם, כולל הבכירים שבהם, לא עושים כלום כדי לשנות תרבות מחקר שגובלת בחוסר תקינות (זיוף).

הסיכום של הסימפוזיון הוא שחייבים לעשות משהו – בנוגע לנוהלי המחקר והפרסום המדעי הפגומים. העניין הוא שלא יודעים מה לעשות, ואיש אינו מוכן לנקוט בצעדים הראשונים לתיקון המצב.
עובדה היא, שלמרות שרבים יודעים שהמדע מקולקל, האנשים מדברים רק בעילום שם, ואיש אינו מוכן אפילו להודות שיש בעיה (כול הכבוד להורטון) – אנשים מפחדים על הקריירה והמשרות שלהם.

מיותר לציין שמה שהורטון דיבר עליו בנושאי המחקר הביו-רפואי – נכון שבעתיים במחקר האקלים. חוקרי האקלים "מהנדסים" את הנתונים והמספרים כדי ל"הוכיח" את המסקנות שהם מאמינים בהן מראש, המסקנות האופנתיות, המסקנות שמקדמות את הקריירה שלך. ומי שמעז להטיל ספק בתיאוריות המדעיות האופנתיות, מי שמעז להצביע על חולשות המחקרים האופנתיים – הקריירה (והפרנסה, משרות, תקציבי מחקר)  שלו נקטעת.

לדעת ד"ר ג'ודי קורי – שלא כמו בחקר רפואי או חברתי – אין במחקר אקלימי הרבה מקרים של זיוף נתונים או שימוש בנתונים לא נכונים. מה שיש בשפע זה צ'רי-פיקינג – כלומר שימוש סלקטיבי בנתונים והתעלמות מנתונים שלא מתאימים לתיאוריה שלך – ושימוש בשיטות חישוב סטטיסטיות מפוקפקות או שגויות.
התמריצים למדענים זהים בכול התחומים. סטודנטים מוסמכים יודעים שפרסום בירחון יוקרתי פותח להם דלת למשרות פרופסור באוניברסיטאות יוקרתיות, עם משכורות גבוהות, מענקי מחקר, והכרה של עמיתים. הדבר לא תלוי בנכונות או תקינות המחקר שלך – העיקר שהוא תומך בקו המחשבה האופנתי, המקובל. היושרה אינה מתומרצת. מעבר לתמריץ של קידום הקריירה האישית יש דחיפה להפיק תוצאות שיתמכו במטרות "חברתיות" רצויות.

סיכום שלי בעברית פשוטה: מדענים מרמים. הם מפרסמים מחקרים מפוברקים רק כדי לקדם את הקריירה שלהם או את המטרות האידיאולוגיות שלהם. הם מרמים ביודעין. לא כולם, אבל רבים מהם – אולי חצי, כמו שאומר הורטון. והממסד – כתבי העת, האוניברסיטאות והארגונים המדעיים (למשל הרויאל סוסייטי) שותפים לפשע זה.

יעקב

13 תגובות:

עוזי אמר/ה...

לא חצי מהחוקרים, חצי מהמחקרים - חוקרים שמרמים מוציאים הרבה יותר מחקרים, ובז'ורנלים הרבה יותר חשובים, מאלו שלא מזייפים תוצאות או לפחות מעגלים פינות. זו הסיבה שבכלל עושים כאלו דברים. המקרה של יושיטקה פוג'י (183 מאמרים, רובם מפוברקים לגמרי) הוא דוגמה מאלפת במיוחד, אבל כמעט תמיד התנהגות כזו באה בצרורות ואיתה המון פרסומים. בבקשה לא להשמיץ כך חצי מהמדענים. אולי רבע...

דבר נוסף - באקלים מדובר על תופעה שונה לגמרי מזיוף תוצאות ואפילו צ'רי-פיקינג, תופעות שקורות גם בתחומים אחרים. אני עוד לא בטוח (אני מנסה להגיע לבדוק את זה) אבל אני חושב שבמדע האקלים אדם שלא עוצם עין לא יכול לפתח קריירה בכלל. זה לא התחום היחיד בסגנון הזה במדע ה"מקובל". במדעי האקלים, אם אני צודק, מדובר על 99% מהמדענים והאחוז האחר נמצא המצוד תמידי על ידי "מנקשי העשבים".

Anochi אמר/ה...

1. צ"ל "מנכשי העשבים".
2. הפוסט לא התיחס למחצית מהמדענים אלא לפירסומים: "הרבה ממה שמתפרסם בספרות המדעית, אולי אפילו עד כדי חצי, פשוט לא נכון. "

יעקב אמר/ה...

1. אינני יודע כמה מהמדענים נגועים בנגע זה - אבל הם רבים. ושאר המדענים, הישרים, מפחדים לפתוח את הפה ולגנות מחקרים מפוברקים, למרות שהם יודעים שהמחקרים חסרי ערך. הם חושבים בוודאי: "למה לי להסתבך במחלוקת וריב עם מדענים אחרים ומוסדות מדע ומימון? יותר טוב לשתוק ולא לעשות גלים, אחרת יצא לי מוניטין של עושה צרות"... זה דבר חמור מאד כשלעצמו.

2. במדעי האקלים יש כת שלטת (ראו אתר realclimate) שלא רק שלא מבקרים איש את מחקריו השטותיים של רעהו, אלא נשכבים על הגדר ומגינים בחירוף נפש כול טעות וכול שטות שאחד מחברי הכת פרסם. הם נלחמים מחלמת חורמה נגד כול מי שסוטה מהקו הרשמי. ייתכן שהם באמת מאמינים שמאבקם דרוש כדי להציל את כדור הארץ. בכול אופן - מדע זה לא.

יוני אמר/ה...

רק כמה הערות (בתור איש מקצוע - לפרסם מאמרים בעיתונות המדעית זה חלק חשוב מהעבודה שלי...)
1. רק בתחומים מסויימים מאוד אפשר ממש לפברק נתונים.
2. נקודה חשובה: אם הנתונים המפוברקים מוליכים לגילוי "חשוב", מדענים אחרים ינסו לחזור על הניסויים ומן הסתם ייכשלו, מה שמוליך לגילוי של הפיברוק. כך במקרה של פוג'יי וכך גם בעוד מקרה מפורסם (דווקא מתחום הפיסיקה הנסיונית) של אחד בשם הנדריק שון, שפרסם המון מאמרים בNature ו-science עד שגילו שהוא לא עשה אפילו ניסוי אחד...http://en.wikipedia.org/wiki/Sch%C3%B6n_scandal
3. יש עוד המון מאמרים עם תוצאות מפוברקות, אבל הם בד"כ לא מספיק חשובים או מעניינים כדי שישחזרו את הניסוי ויגלו את הבלוף. זוהי כמובן בעיה אקוטית, כי כל שיטת הקידום באוניברסיטאות תלויה בכמות פרסומים, אבל האמת היא שנכון לעכשיו לא יודעים להתמודד עם הבעיה, שבעיקר חמורה במדינות מתפתחות-אסייתיות.
4. אני מסכים שבמדעי האקלים פיברוק נתונים זו לא הבעייה, לפחות לא באקדמיה (ה-IPCC זה סיפור אחר...), אבל במובנים מסויימים הטטיה-מובנית או cherry-picking זה אפילו יותר גרוע, מפני שזה כולל מניפולציות כה עדינות שמאוד מאוד קשה לתפוס אותן.
המסקנות - קודם כל "המדע" לא מקולקל. רק חלק מהמדענים. :-)
דבר שני, עובדתית השיטה המדעית אפילו עובדת, עובדה שאלו שמפברקים דברים חשובים בקנה מידה גדול תמיד נתפסים (למרות שלא תמיד נענשים על זה מספיק לטעמי). זה אינהרנטי לשיטה המדעית המודרנית.
דבר שלישי - זה מאוד חשוב להציף את הנושא הזה כל הזמן, במיוחד בקרב מדענים צעירים ובמיוחד סטודנטים לתואר מתקדם (אני עושה שטיפת מח לסטודנטים שלי על נושא האמינות והדיוק בפרסומים), אבל הרבה מעבר אין מה לעשות כרגע. אולי לבחור נשיא רפובליקני :-)

איל אמר/ה...

אין ספק שלא המדע מקולקל אלא חלק מהמדענים.
לגבי מחקרי האקלים - הבעייה אינה פיברוק כמו שהעיד קודמי, אלא "משחק" עם הנתונים.
רוב המחקרים נשענים על סטטיסטיקה וחלק לא קטן מהמדענים - או שאינם יודעים סטטיסטיקה באופן מספיק ולכן עושים שטויות ומקבלים תוצאות מוזרות, או, וזה גרוע יותר, "מעסים" את הנתונים (מלשון massage) בכדי לקבל את מה שהם רוצים.
וכמו שהעירו כבר, חצי אמת גרועה משקר.
בנוסף, יש מגמה הזוייה לחלוטין בה כל ארוע, ממצא, מחקר או תופעה טבעית משוייכים ל"שינויי האקלים". מה שהופך את כל העניין למגוחך וטיפשי עד בכי.
באמת ייתכן שחלק לא מבוטל מהם אכן חושבים ש"המטרה מקדשת את האמצעים", אבל בהתחשב בנזק שהם גורמים למדע ובעיקר לאנושות (בזבוז משאבי עתק על לא כלום והזנחת בעיות בוערות באמת) אין לעבור על כך לסדר היום וצריך לחשוף זאת כל הזמן בלי להתייאש.
בסוף, האמת תנצח.

אנונימי אמר/ה...

כבר לפני עשרות שנים (לא מונחים לפני שם הספר והמדבר) הועלה בדיון על מחקר ארכיאולוגי שהחוקרים נוהגים כך:
אם הנתון מתאים לתיאוריה, הם משלבים אותו בטקסט
אם הנתון גבולי, הם משלבים אותו כהערה בסוף הטקסט
אם הנתון סותר את התיאוריה, הם מתעלמים ממנו.

על זה נאמר: "אין חדש תחת השמש"

יעקב אמר/ה...

יוני:
"של אחד בשם הנדריק שון, שפרסם המון מאמרים בNature ו-science עד שגילו שהוא לא עשה אפילו ניסוי "

שמת לב מה שכתבת? "פרסם ***המון*** מאמרים... עד שגילו..." האם זה מצביע שהמצב תיקן או שהמצב מקולקל? אם אדם יכול לפרסם **המון** מאמרים בנייטור, לפני שמתגלה שהכול מזויף - זה סימן לתקינות?

יעקב אמר/ה...

איל: "בסוף, האמת תנצח."... אולי. אבל מתי כבר יגע ה"סוף"?
"בסוף האמת תנצח" זו הבעה של תקווה, נבואה, לא ציון של עובדה, וגם לא טענה שיש לה ביסוס של ממש. אולי כן ואולי לא...

יעקב אמר/ה...

"מדענים אחרים ינסו לחזור על הניסויים ומן הסתם ייכשלו, מה שמוליך לגילוי של הפיברוק."
ככה זה צריך להיות... אבל זה לא קורה. זו אחת הבעיות.
כי אין תהילה או פרסום או קידום בחזרה על ניסוי שמישהו אחר עשה... לכן אין תמריץ לבצע "שחזור" - reproducibility

יעקב אמר/ה...

"מדענים אחרים ינסו לחזור על הניסויים ומן הסתם ייכשלו, מה שמוליך לגילוי של הפיברוק."

לעומת זאת במדעי האקלים, אכן מדענים אחרים חוזרים על הניסוי, אבל, בכוונה תחילה, עם כול השגיאות, ומפרסמים מחקרים נוספים המגיעים לאותה מסקנה, באותן השיטות (סטטיסטיקה מפוקפקת) - ואח"כ טוענים: "מחקרים רבים מחזקים את מסקנתנו"....מסקנתנו "איתנה" - robust.

איל אמר/ה...

יעקב,
" "בסוף האמת תנצח" זו הבעה של תקווה, נבואה, לא ציון של עובדה, וגם לא טענה שיש לה ביסוס של ממש. אולי כן ואולי לא..."
לכן אמרתי שיש להמשיך ולהציף ולחשוף את הדברים.

אנונימי אמר/ה...

אי אפשר לפברק את העולם האמיתי. בעולם האמיתי כדוה"א נע מסביב לשמש במסלול אליפטי ופחמן דו חמצני באטמוספרה הוא גז חממה. זה לא נושא בויכוח ולא צריך להיות מומחה גדול כדי להגיע לאותה המסקנה. לא צריך להיות גם מומחה גדול כדי להבין שהפלנטה שלו תהפוך לוונוס בהינתן מספיק גזי חממה באויר. בני אדם שורפים דברים שנמצאים מתחת לאדמה הרבה זמן ומשחררים את הפחמן. במקביל כורתים עצים ושותלים שדות במקום לא צריך להיות מדען גדול כדי להבין שהאיזון שהיה לפני 200 שנה הופר. השאלה היא מה עושים? כלכלה חופשית זה סבבה אבל הפלנטה שלנו היא רק אחת. מה שמכניס "רכוש קוקטיבי" לדיון גם אצלי.

יעקב אמר/ה...

"לא צריך להיות גם מומחה גדול כדי להבין שהפלנטה שלו תהפוך לוונוס בהינתן מספיק גזי חממה באויר"

אתה רואה? אתה מדבר כמו אחד שטוף מוח, על ידי עיתונות חובבנית. אינך מבין את המדע. כדור הארץ לא יכול להפוך לוונוס - זו סתם שטות שפלט מדען בכיר - ד"ר גיימס האנסן. אם היית מבין קצת במדע היית מבין שזו שטות.

נכון, פד"ח הוא גז חממה - אבל בכמויות הזעירות שהוא נמצא באופו טבעי באטמוספרה, ובכמויות הזעירות עוד יותר שבן האדם מוסיף, לא ברור בכלל שתהיה לו השפעה מזיקה.
המדע לא יודע לענות מה שיעור ההשפעה שעלולה להיות. המדע אינו מבין היטב את תהליכי ההיזון החוזר בטבע. הטענה שהם מבינים ויודעים אינה אלא טענת שווא.

כול הבהלה החממסיטית מבוססת על היסטריה, לא על מדע.

זה לא שהפד"ח לא גז חממה - זה ששיעור השפעתו בריכוזים זעירים אינה ידועה, ייתכן ותהיה התחממות קלה וייתכן שלא תהיה - לא ידוע. אין מקום לבהלה מפני הבלתי ידוע.