כשמקרה מוות מוסתר בהערת שוליים

מניפולציות במחקרים קליניים הפכו בשנים האחרונות לתופעה שכיחה עד כדי כך, שהיא מאיימת על התהליך המדעי. אבל מה שמדאיג לא פחות הוא שהמניפולציות עצמן הופכות למתוחכמות יותר ויותר, עד כדי כך שהן מצליחות לחמוק לא רק מעיניהם של הסוקרים העמיתים ושל הרגולטורים, אלא אפילו מ"עיניי" הבינה המלאכותית.

מקרה לדוגמה הוא מחקר קליני שפורסם בכתב העת New England Journal of Medicine – שבו מקרה מוות בתינוק שקיבל את הטיפול הניסיוני שנבדק במחקר הוסתר באופן שלא התגלה על ידי שלושה כלי בינה מלאכותית שונים, שאחד מהם נבנה במיוחד כדי לאתר כשלים, סתירות והטיות במחקרים מדעיים.

המחקר בדק את בטיחותו של מוצר תרופתי בשם בייפורטס – נוגדן חד שבטי למניעת תחלואה בנגיף ה-RSV, שמוזרק לתינוקות בשנת חייהם הראשונה. למעשה, המחקר הזה היווה בסיס לאישור הטיפול לתינוקות על ידי ה-FDA, ובהמשך גם על ידי משרד הבריאות הישראלי, ובארץ הוא אף הוכלל השנה בסל הבריאות.

בעדכון למאמר שפורסם ב-2023, כתבו החוקרים בגוף הטקסט של המאמר כי זיהו ארבעה מקרי מוות בקבוצת הטיפול – לעומת אפס מקרים בקבוצת הפלצבו. אף על פי כן, הם הסיקו שהטיפול בטוח, שכן לטענתם המקרים לא היו קשורים לטיפול.
ואולם, בחינה מדוקדקת של המחקר, כולל המסמכים המשלימים שלו (supplementary appendix), שהוצגו בקבצי PDF נפרדים בסוף המאמר – בחינה שבוצעה על ידי ד"ר אפרת שור ופרופ' רצף לוי – העלתה ממצא מטריד: באחד ממסמכי ה-PDF המשלימים הוזכר מקרה מוות חמישי, שלא דווח בגוף המאמר. במקום זה, המקרה "נקבר" בהערת שוליים שהופיעה בתחתית איור במסמך המשלים – באופן שרק תשומת לב יוצאת דופן איפשרה להבחין בו.

החוקרים נימקו בהערת השוליים את ההשמטה בכך שמקרה המוות החמישי אירע מחוץ לטווח הזמן שנקבע מראש. אלא שבדיקה של פרוטוקול המחקר מפריכה טענה זו. בהתאם לפרוטוקול, טווח הזמן שנקבע למעקב הבטיחות היה 510 ימים, ואילו המקרה אירע ביום ה-440 – כלומר, בתוך טווח הזמן שנקבע מראש על ידי החוקרים עצמם. לא מדובר כאן בפרשנות – אלא בנתון מדויק מתוך פרוטוקול המחקר.

ההטעיה שחמקה אפילו מעיני האלגוריתם

בניסיון לברר האם ניתן להיעזר בכלי בינה מלאכותית כדי לזהות מניפולציות מסוג זה במחקרים מדעיים, העברתי את המאמר ואת מסמכי ההשלמה לשני כלים שונים: GPT וגרוק 3. בשלב הראשון, ביקשתי משניהם לערוך ניתוח עצמאי של המאמר, ללא הנחיה או כיוון ספציפיים, תוך דגש על איתור מניפולציות, הטיות, פערים בין ממצאים למסקנות החוקרים או בעיות אחרות. אף אחת משתי המערכות לא זיהתה את המקרה החמישי.

יתירה מכך, גם כשפניתי אליהן עם שאלה מפורשת: האם ייתכן שהמאמר משמיט מקרה מוות נוסף בקבוצת הטיפול, התשובה של שתיהן הייתה חד-משמעית: לא. הן טענו בביטחון שמדובר בטעות, וכי היו רק ארבעה מקרי מוות בקבוצת הטיפול.

בשלב זה העברתי את המאמר ואת מסמכי ההשלמה גם ל-INGA314 – מערכת ייעודית שפותחה על ידי דן ארידור. מדובר בכלי בינה מלאכותית מתקדם, שפותח במיוחד לזיהוי כשלים, הנחות סמויות, סתירות והטיות בטקסטים מדעיים. גם כאן, בשלב הראשון – כשהמערכת התבקשה לזהות מניפולציות או הטיות מבלי לקבל הנחיה ספציפית – היא לא זיהתה את מקרה המוות החמישי שהושמט. ואולם, אחרי שדן ביקש ממנה לבדוק גם מרכיבים ויזואליים (כמו גרפים וטבלאות) – הצליחה המערכת לאתר את ההערה ולזהות את מקרה המוות החמישי שהוסתר. בעקבות המקרה עודכנה המערכת כך שתתייחס באופן מובנה יותר גם לתכנים גרפיים וחזותיים, כולל הערות שוליים בתוך נספחים.

המשמעות של המקרה הזה חורגת הרבה מעבר למחקר הבודד. היא מצביעה על שלב חדש במניפולציות מחקריות: שלב שבו ההסתרה כבר נועדה לא רק לטשטש ממצאים מעיני הקוראים או הרגולטורים – אלא מצליחה להטעות אפילו כלי בינה מלאכותית מתוחכמים, כולל מערכות אוטומטיות שנבנו במיוחד כדי לחשוף את ההטיות הללו.

המקרה הזה מדגים לא רק עד כמה יכולה מניפולציה מחקרית להיות מתוחכמת, ולעקוף אפילו כלי בינה מלאכותית מתקדמים, אלא גם את הסכנה הגוברת לתהליך המדעי עצמו – תהליך שאמור לשמש כבסיס להחלטות רפואיות, אך עלול להישען על מסקנות שגויות, כאשר ההטעיה מצליחה לחדור דרך כל שכבות הבקרה: מהמחקר, דרך הסקירה, ועד לרגולציה והיישום הקליני.