על ידי רועי_שרון* » 08 מאי 2002, 10:31
כבר הבעתי את דעתי בעבר שאנשים משתכנעים מהבטן ולא מהראש, כך שאני מפקפק במשמעות של מחקרים ככלי לשכנוע הלא-משוכנעים. לדעתי רוב האנשים שקוראים מחקרים מחפשים מראש את אלו שמתאימים לדעתם, ולא ממש מתאמצים לאתר מחקרים הפוכים... ובכל זאת, פטור בלא כלום אי אפשר, אז:
למחקרים בתחומים רבים של מדעי החיים והרוח (להבדיל מהמדעים המדוייקים) יש בדרך כלל שני חלקים: תצפית, והסבר התופעות הנצפות.
התצפית כוללת בדרך כלל הצבעה על איזשהו מתאם בין שתי תופעות (לדוגמא, אנשים שצורכים סוכרזית שוקלים בממוצע 10 ק"ג יותר מאנשים שאינם צורכים סוכרזית (גילה - דוגמא מצויינת!)),
וההסבר מנסה לתאר קשר סיבתי בין שתי התופעות הנצפות באופן שיסביר את המתאם שנצפה (לדוגמא, סוכרזית גורמת להשמנה).
כשקוראים מחקרים באופן ביקורתי, חשוב לבחון איך המחקר מתמודד עם כל מיני שגיאות והטעיות אפשריות בביצוע התצפית ובבניית ההסבר. דוגמאות לבעיות נפוצות ולדרכי התמודדות עימן:
- שגיאות מדידה - המשקל שאיתו מדדו את משקלם של הנבחנים במחקר על הסוכרזית וההשמנה היה לא מכוון, או שכיוונו השתנה במהלך תקופת המחקר, או שהשתמשו איתו לא נכון, או שלא רשמו את התוצאות בצורה מסודרת. דרכי התמודדות: שימוש במספר מכשירי מדידה, כיול מכשירי המדידה, נהלים ברורים לגבי תהליך המדידה, וכו'.
- מהימנות סטטיסטית - הרבה פעמים יש טעויות במחקרים בגלל שהחישוב של המתאם היה לא מדוייק. מתאם הוא מושג סטטיסטי שיש לו הגדרה ברורה וחד משמעית (ואגב, לא כל כך מסובכת; בערך ברמה של כיתה ז'; זו אחת מהסיבות שמלמדים סטטיסטיקה גם אנשים שלומדים מדעי הרוח (ועדיין חלק נכשלים בזה!)), אבל כמו כל מכשיר - התוצאות שלו תלויות מאד במה שהכנסת לתוכו. אומרים על זה: Garbage in garbage out, כלומר: הכנסת זבל יצא זבל. דרכי פתרון אפשריות:
- גודל המדגם - ככל שכמות הנבחנים בכל קבוצה גדולה יותר, כך אפשר להגיע למהימנות גבוהה יותר. במקרים מסויימים מספיקים כמה מאות נבחנים, במקרים אחרים אלפים ואף יותר. אם בודקים תופעה ששכיחותה באוכלוסיה קטנה במיוחד (לדוגמא, פגם גנטי מסויים, או סיבוך מסויים בלידה), אז בשביל להגיע לכמה מאות אנשים בקבוצה בעלת הפגם צריך לבדוק כמות גדולה מאד של אנשים (לדוגמא, בשביל לבדוק פגם שמופיע בעשירית אחוז מהאוכלוסיה צריך קבוצת מדגם של מאות אלפי או מליוני אנשים).
- שגיאות מתמטיות - בשביל לאתר פגמים כאלה בחישובים הסטטיסטיים צריך להבין במתמטיקה, ולבחון את הנתונים הגולמיים של התצפית. מאחר שרובנו לא במצב הזה, אז אנחנו נאלצים להסתמך על המומחיות המתמטית של עורכי המחקר. חוקרים רציניים נעזרים במומחים בנושא, ולעתים מציינים את שמם במחקר עצמו. אם יש שם כזה אז אפשר לבדוק מיהו האדם הזה ומה הרקע שלו (בד"כ דרך האוניברסיטה שבה הוא עובד).
- טעויות הסקה - גם אם התצפית נערכה באופן נכון ומהימן סטטיסטית, עדיין אפשר למצוא מספר הסברים למתאם. בדוגמא של מחקר הסוכרזית והשמנים המתאם נשמע הגיוני, אבל ההסבר שנתנו לקוי. למה? כי המתאם נובע מסיבתיות הפוכה בדיוק: יותר אנשים שמנים מעדיפים להשתמש בסוכרזית מאשר אנשים רזים, ולכן יש מתאם בין שומן לשימוש בסוכרזית. אבל התצפית עצמה לא חושפת את זה, אלא זה מקומו של ההסבר, שהוא מטבעו פחות מדוייק ומדעי.
השיטה להתמודדות עם בעיות הסקה היא לתת מספר הסברים שונים לתופעה הנצפית (היפותזות), ולבדוק את ההיפותזות אחת לאחת. כאן מקומה של קבוצת הביקורת. לדוגמא, אפשר לתת לקבוצת אנשים משהו שנראה כמו סוכרזית אבל אינו כזה (פלצבו), ולבדוק האם התופעה הנצפית מתקיימת גם בקבוצה הזו.
כמובן שכל הדברים הללו הם רק חלק מהבעיות ומהפתרונות במחקרים. כמה אפשרויות נוספות לאדם הלא מיומן:
- לבדוק מחקרים ממוסדות מחקר שונים ובלתי תלויים.
- להסתמך על ביקורת מדעית של גופים שבהם הוא בוטח (לדוגמא, העיתונים שיונת הזכירה).
- לשאול מספר מומחים בלתי תלויים בנושא.
כבר הבעתי את דעתי בעבר שאנשים משתכנעים מהבטן ולא מהראש, כך שאני מפקפק במשמעות של מחקרים ככלי לשכנוע הלא-משוכנעים. לדעתי רוב האנשים שקוראים מחקרים מחפשים מראש את אלו שמתאימים לדעתם, ולא ממש מתאמצים לאתר מחקרים הפוכים... ובכל זאת, פטור בלא כלום אי אפשר, אז:
למחקרים בתחומים רבים של מדעי החיים והרוח (להבדיל מהמדעים המדוייקים) יש בדרך כלל שני חלקים: תצפית, והסבר התופעות הנצפות. [b]התצפית[/b] כוללת בדרך כלל הצבעה על איזשהו מתאם בין שתי תופעות (לדוגמא, אנשים שצורכים סוכרזית שוקלים בממוצע 10 ק"ג יותר מאנשים שאינם צורכים סוכרזית (גילה - דוגמא מצויינת!)), [b]וההסבר[/b] מנסה לתאר קשר סיבתי בין שתי התופעות הנצפות באופן שיסביר את המתאם שנצפה (לדוגמא, סוכרזית גורמת להשמנה).
כשקוראים מחקרים באופן ביקורתי, חשוב לבחון איך המחקר מתמודד עם כל מיני שגיאות והטעיות אפשריות בביצוע התצפית ובבניית ההסבר. דוגמאות לבעיות נפוצות ולדרכי התמודדות עימן:
[list]
[*] [b]שגיאות מדידה[/b] - המשקל שאיתו מדדו את משקלם של הנבחנים במחקר על הסוכרזית וההשמנה היה לא מכוון, או שכיוונו השתנה במהלך תקופת המחקר, או שהשתמשו איתו לא נכון, או שלא רשמו את התוצאות בצורה מסודרת. דרכי התמודדות: שימוש במספר מכשירי מדידה, כיול מכשירי המדידה, נהלים ברורים לגבי תהליך המדידה, וכו'.
[*] [b]מהימנות סטטיסטית[/b] - הרבה פעמים יש טעויות במחקרים בגלל שהחישוב של [b]המתאם[/b] היה לא מדוייק. מתאם הוא מושג סטטיסטי שיש לו הגדרה ברורה וחד משמעית (ואגב, לא כל כך מסובכת; בערך ברמה של כיתה ז'; זו אחת מהסיבות שמלמדים סטטיסטיקה גם אנשים שלומדים מדעי הרוח (ועדיין חלק נכשלים בזה!)), אבל כמו כל מכשיר - התוצאות שלו תלויות מאד במה שהכנסת לתוכו. אומרים על זה: Garbage in garbage out, כלומר: הכנסת זבל יצא זבל. דרכי פתרון אפשריות:
[*] [b]גודל המדגם[/b] - ככל שכמות הנבחנים בכל קבוצה גדולה יותר, כך אפשר להגיע למהימנות גבוהה יותר. במקרים מסויימים מספיקים כמה מאות נבחנים, במקרים אחרים אלפים ואף יותר. אם בודקים תופעה ששכיחותה באוכלוסיה קטנה במיוחד (לדוגמא, פגם גנטי מסויים, או סיבוך מסויים בלידה), אז בשביל להגיע לכמה מאות אנשים בקבוצה בעלת הפגם צריך לבדוק כמות גדולה מאד של אנשים (לדוגמא, בשביל לבדוק פגם שמופיע בעשירית אחוז מהאוכלוסיה צריך קבוצת מדגם של מאות אלפי או מליוני אנשים).
[*] [b]שגיאות מתמטיות[/b] - בשביל לאתר פגמים כאלה בחישובים הסטטיסטיים צריך להבין במתמטיקה, ולבחון את הנתונים הגולמיים של התצפית. מאחר שרובנו לא במצב הזה, אז אנחנו נאלצים להסתמך על המומחיות המתמטית של עורכי המחקר. חוקרים רציניים נעזרים במומחים בנושא, ולעתים מציינים את שמם במחקר עצמו. אם יש שם כזה אז אפשר לבדוק מיהו האדם הזה ומה הרקע שלו (בד"כ דרך האוניברסיטה שבה הוא עובד).
[*] [b]טעויות הסקה[/b] - גם אם התצפית נערכה באופן נכון ומהימן סטטיסטית, עדיין אפשר למצוא מספר הסברים למתאם. בדוגמא של מחקר הסוכרזית והשמנים המתאם נשמע הגיוני, אבל ההסבר שנתנו לקוי. למה? כי המתאם נובע מסיבתיות הפוכה בדיוק: יותר אנשים שמנים מעדיפים להשתמש בסוכרזית מאשר אנשים רזים, ולכן יש מתאם בין שומן לשימוש בסוכרזית. אבל התצפית עצמה לא חושפת את זה, אלא זה מקומו של ההסבר, שהוא מטבעו פחות מדוייק ומדעי.
[/list]
השיטה להתמודדות עם בעיות הסקה היא לתת מספר הסברים שונים לתופעה הנצפית (היפותזות), ולבדוק את ההיפותזות אחת לאחת. כאן מקומה של קבוצת הביקורת. לדוגמא, אפשר לתת לקבוצת אנשים משהו שנראה כמו סוכרזית אבל אינו כזה (פלצבו), ולבדוק האם התופעה הנצפית מתקיימת גם בקבוצה הזו.
כמובן שכל הדברים הללו הם רק חלק מהבעיות ומהפתרונות במחקרים. כמה אפשרויות נוספות לאדם הלא מיומן:
[list]
[*] לבדוק מחקרים ממוסדות מחקר שונים ובלתי תלויים.
[*] להסתמך על ביקורת מדעית של גופים שבהם הוא בוטח (לדוגמא, העיתונים שיונת הזכירה).
[*] לשאול מספר מומחים בלתי תלויים בנושא.
[/list]