פרופ׳ ליעד מודריק, מבית הספר למדעי הפסיכולוגיה ובית ספר סגול למדעי המוח באוניברסיטת תל-אביב, היא בעלת שני תארי ד״ר, הן בתחום הפילוסופיה והן בתחום מדעי המוח והקוגניציה. היא עוסקת בשאלות גוף ונפש בגישה ניסויית, בחקר קוגניציית האדם בכלל, ובחקר התודעה האנושית בפרט. ליעד משוחחת על מודלים עכשוויים למנגנוני התודעה במוח, ועל חלקה שלה בניסיון חובק-העולם לקבוע מי מהמודלים הללו תואם יותר את המציאות שאנחנו מודעים לה. היא גם מדברת על דרכה המדעית, על פעילותה העניפה בהפצת מדע בציבור, כולל ברדיו, ולמה זה חשוב לא רק לשומעיה אלא גם לה, והיא אפילו נוגעת בשאלה האם מערכות בינה מלאכותית תוכלנה בכלל לחוות את טעם השוקולד.
תאריך עליית הפרק לאוויר: 08/11/2021.
פרופ' דודאי: ברוכים הבאים לפודקאסט שיח חוקרים.
בת השיח שלי היום היא פרופסור ליעד מודריק, מבית הספר למדעי הפסיכולוגיה ובית ספר סגול למדעי המוח באוניברסיטת תל אביב.
ליעד, שהיא בעלת שני תארי דוקטור, הן בתחום הפילוסופיה והן בתחום מדעי המוח והקוגניציה, משלבת בעבודתה בין מדע ניסויי לפילוסופיה. ומתמקדת בשאלות גוף ונפש, בחקר הקוגניציה הגבוהה בכלל ובחקר התודעה האנושית בפרט.
ליעד, המודעת למגבלות שיש לתודעה האנושית לחקור את תודעתה עצמה, משוחחת על מודלים מקריים למנגנוני התודעה במוח, ועל חלקה שלה בניסיון חובק העולם לקבוע בשיטות מדעיות מי מהמודלים הללו תואם יותר את המציאות שאנחנו מודעים לה, ואפילו נוגעת בשאלה האם מערכות בינה מלאכותית תוכלנה בכלל לחוות את טעם השוקולד.
היא גם מדברת על דרכה המדעית, ועל התקופה שגילתה שזימרה, זו לא החוזקה שלה, על פעילותה הענפה בהפצת מדע בציבור, כולל ברדיו, ולמה זה חשוב לא רק לשומעיה, אלא גם לה.
שלום לפרופסור ליעד מודריק, תודה שהצטרפת לשיח החוקרים והחוקרות.
אני אודה לך אם תוכלי להתחיל בתיאור, בקליפת אגוז, של הדברים העיקריים שאת עושה בקבוצת המחקר שלך, ומשם ניקח את זה הלאה לפחות לאחד מהם שמעניין אותי במיוחד. ומשם ניקח את זה הלאה למשמעותו של העיסוק הזה, ומשם ניקח את זה הלאה לדברים אחרים.
בבקשה ליעד.
פרופ' מודריק: תודה רבה שהזמנת אותי, אני כבר לא יכולה לחכות לראות מה ההלאה הזה שנגיע אליו. אז אני באמת חוקרת באוניברסיטת תל אביב, השאלה המרכזית שמעניינת אותי היא בעיית התודעה. ובעיית התודעה יש לה, רבים פניה, או יש לה ריבוי פנים. קודם כל, השאלה המרכזית היא איך חוויה מודעת נולדת מתוך פעילות מוחית.
עכשיו, כשאני אומרת חוויה מודעת, אני מתכוונת לדרך שבה אנחנו תופסים את העולם. והדוגמה שאני בדרך כלל אוהבת לתת, כי צר עולמי כעולם ארון הממתקים בבית שלי, זה מה קורה כשאני מכניסה קוביית שוקולד לפה.
אז הקולטנים, תאי הטעם, הרצפטורים על הלשון שלי מזהים שיש שם גלוקוז, שכדאי לי אולי לאכול את זה שוב, וכך הלאה. אבל מעבר לעיבוד המידע על קוביית השוקולד, אני גם חווה את הטעם העילאי של השוקולד.
פרופ' דודאי: בזה, ליעד, את לא מניחה מראש, רק שיהיה ברור, שאין הרבה מאוד חוויות שהן לא מודעות. את מראש מוציאה מהכלל דברים שמצטברים אלייך, שאת לא מודעת להם בזמן אמיתי?
פרופ' מודריק: בהחלט, יש המון חוויות שאני לא מודעת, או הרבה מידע שאני מעבדת ללא מודעות, ולמעשה זאת אחת משאלות המחקר שלנו במעבדה. זאת אומרת, מעבר לשאלה כיצד נולדת חוויה מודעת תחושה, הטעם של השוקולד, הכחול של השמיים, הצליל של המוזיקה וכך הלאה, מתוך פעילות מוחית, שאלה קוגניטיבית שאנחנו שואלים, היא מה ההבדל בין עיבוד מודע לבין עיבוד לא מודע? וכמה רחוק אפשר להגיע עם העיבוד הלא מודע, אפילו כשאנחנו לא יודעים שהמידע בכלל מוצג בפנינו?
פרופ' דודאי: זו אגב שאלה, זו שאלה מאוד מרכזית, אגב, בחקר זיכרון. ואחד מפניה נולד שם בזמנו, כשהנחה, כלל האצבע הפך לזה, שחלק אדיר ממה שאנחנו זוכרים ומשתמשים, הוא לא מן המודע אלא מהלא מודע. האם כי הלא מודע פה, צריך להיזהר בשימוש במונח, על בסיס איזה קונוטציה אנחנו משתמשים בו.
פרופ' מודריק: באופן כללי זה מונח טעון, ובתחום שלי הרבה אנשים, בכוונה באנגלית, במקום לקרוא לזה unconscious, משתמשים במילה non-conscious, כדי לבדל את זה מה-unconscious הפרוידיאני, שהוא מעניין ומרתק, אבל זה לא מה שאנחנו חוקרים.
אני חוקרת מה קורה כשאני מציגה לך גירוי כל כך מהר, שאתה בכלל לא יודע שהוא היה שם, או כשאני מציגה נגיד גירוי שונה לכל עין, ואתה לא מודע למה שהוצג בפניך.
פרופ' דודאי: מה זה כל כך מהר? פחות מ-30 מילי שניות, נניח?
פרופ' מודריק: 17 מילי שניות.
פרופ' דודאי: לקהל שלא מתמצא במילי, זה אלפיות שנייה.
פרופ' מודריק: נכון.
פרופ' דודאי: פחות מ-20 אלפיות שנייה בערך.
פרופ' מודריק: נכון, בטח שמעת את הסיפור על האנשים שהלכו לקולנוע והבזיקו להם תמונות של קוקה קולה והם הלכו לקנות קוקה קולה. לא הצליחו, המחקר הזה הוא לא אמיתי, הוא מומצא. אף אחד לא הצליח להראות שאפשר לגרום לך לקנות קוקה קולה בהבזקה של קוקה קולה.
פרופ' דודאי: אבל הדיבור על קוקה קולה גרם לזה פרסומת, אפילו אם זה לא נכון.
פרופ' מודריק: נכון מאוד.
פרופ' דודאי: לפחות תת מודעת.
פרופ' מודריק: נכון מאוד. אבל כן במעבדה אני מבזיקה מילים, אני מבזיקה תמונות, או, כפי שאמרתי קודם, אני מקרינה תמונה שונה לכל עין. וזה גורם לך לראות תמונה אחת ולא לראות את התמונה האחרת, על אף שהמוח מעבד אותה כל הזמן, ואז אפשר לשאול איזה מידע אני מחלצת מהתמונה הזאת אפילו שלא ראיתי אותה.
פרופ' דודאי: אגב, כשאת אומרת לכל עין, ואחת רואה ואחת לא, את מתכוונת לאנשים נורמליים, לא לאנשים שיש להם ניתוק בין ההמיספרות. אנשים נורמליים לחלוטין.
פרופ' מודריק: לגמרי. כן, בעזרת מכשיר שנקרא סטריאוסקופ או בעזרת משקפיים כאלה עם פילטרים אדום וירוק, אני יכולה להציג תמונה שונה לכל עין, והדבר המעניין הוא, שבמקום שתראה את שתי התמונות אחת על השנייה, מה שקורה, אם הן מספיק שונות אחת מן השנייה, זה שהחוויה שלך עוברת מתמונה אחת לתמונה השנייה. אז אם עין אחת רואה בית והשנייה רואה פרצוף אז אתה תראה בית ואז תראה פרצוף ושוב בית ושוב פרצוף וכך הלאה. אפשר לבדוק מה קורה במוח במעברים האלה או מה קורה כשאתה לא מעבד את הבית, אבל, או לא תופס אותו בצורה מודעת עד כמה אתה בכל זאת מעבד אותו.
פרופ' דודאי: רק שנבין, ההבזק הוא מהיר ביותר ואת עדיין חווה פעם את זה ופעם את זה?
פרופ' מודריק: לא, אז זה אלה שתי שיטות שונות. וטוב שאתה שואל, כי באמת לא הסברתי בצורה מספיק ברורה. שיטה אחת זה מיסוך. אני לוקחת תמונה, אני מבזיקה אותה ל- 15 מילי שניות, אני מציגה אותה שלפניה ואחריה יש תמונות אחרות, חסרות משמעות, ואתה לא רואה אותה כי היא עברה כל כך מהר והיא מוסכה על ידי גירויים אחרים.
השיטה השנייה, היא נקראת יריבות בין-עינית. אני יוצרת יריבות בין שתי העיניים ואז יש לי שינויים בתפיסה. אלה שתי שיטות שונות. ויש עוד שיטות שבאמצעותן אני יכולה לקחת גירוי ולהפוך אותו להיות לא מודע. אפילו אחד הסטודנטים במעבדה שלי, אורי קוריסקי, פיתח שיטה שמאפשרת, שאתה מכיר אותו כי הוא היה סטודנט שלך פעם, מאפשרת למסך…
פרופ' דודאי: Nobody is perfect.
פרופ' מודריק: [צוחקת] הוא די קרוב לזה.
מאפשרת למסך אובייקטים אמיתיים בעולם. אנשים שזזים או הבקבוק שאני מחזיקה ביד עכשיו, אני, בעזרת משקפי מציאות רבודה, אנחנו מקרינים גירוי לעין אחת, העין השנייה חשופה ואתה לא רואה דברים שנמצאים ממש לפניך, אמיתיים בתלת מימד.
פרופ' דודאי: ליעד, שאת אומרת 'לא רואה', שיטת המחקר שתיארת עד עכשיו היא פסיכופיזיקה והתנהגות, אבל מה הדיווח? הדיווח הוא שלך? הרי הדיווח עצמו הוא כולל מודעות, אני מקווה, הדיווח. או שאת משתמשת בכלים נוספים?
פרופ' מודריק: אז זה תלוי מאוד מה השאלה, אם אני רוצה להסתמך, למשל, להנגיד בין מצב שראית גירוי לבין מצב שלא ראית גירוי, אז הרבה פעמים אני אבקש ממך לדווח על איזושהי סקאלה, ואז אני אבדוק את הפעילות המוחית שמשווה, מבחינה בין שני המצבים. אבל אתה צודק, שאז גם אני אבדוק את פעולת הדיווח.
היום יש גם שיטות, שדווקא אני פחות משתמשת בהן, שמאפשרות למשל באמצעות תנועות עיניים, לנסות להעריך האם ראית את הגירוי או לא ראית את הגירוי. אבל אם אני שואלת בכלל האם היה עיבוד לא מודע, אז גם כאן אני לא חייבת להסתמך.. אני צריכה את הדיווח שלך כדי לדעת אם ראית או לא ראית, אבל אני יכולה להשתמש במדדים מוחיים, כדי לשאול האם עיבדת או לא עיבדת.
פרופ' דודאי: מהם המדדים המוחיים?
פרופ' מודריק: אז אצלנו במעבדה זה בעיקר EEG.
פרופ' דודאי: אלקטרו אנציפלוגרם, אני לא יודע מינוח עברי. (הערת מתמללת: במקור – אֶלֶקְטְרוֹאֶנְצֶפָלוֹגְרָם)
פרופ' מודריק: גם אני לא. אני לא יודעת אם יש מינוח עברי.
פרופ' דודאי: נמציא עכשיו.
פרופ' מודריק: [צוחקת] זה קצת קשה, אבל אפשר לזמן איזה מומחה.
פרופ' דודאי: אנצלוגרפיה של… לא, זה בסדר.
פרופ' מודריק: אה, זה בסדר. חשבתי שאתה רוצה ממש שנעברת את זה כמו ש… הרי בן יהודה לא היה מקבל את העיברות שלך עכשיו. הוא יותר מדי…
פרופ' דודאי: לא, לא.
פרופ' מודריק: בכל מקרה, כן. אז אנחנו יכולים להקליט את הפעילות החשמלית, שכפי שהיא מתקבלת על פני הקרקפת. כמובן היא מוחלשת. היא מאפשרת לנו לקבל הערכה מאוד גסה לגבי המיקום, אבל די מדויקת לגבי הזמנים, שבהם התרחשו תהליכים קוגניטיביים שונים.
פרופ' דודאי: כדאי אולי להעיר פה שוב ש… לטובת מי שלא בתחום, שזו.. זה תהליך מדידה לא פולשני. שהוא נעשה בכלל על הקרקפת. שאנשים לא יבהלו, שאם הם רוצים לבוא למעבדתך, מיד תיכנסי למוחם.
פרופ' מודריק: נכון.
פרופ' דודאי: לא תיכנסי.
פרופ' מודריק: לא אכנס, על אף שהיה לי הכבוד והזכות לעבוד גם, נניח עם פרופ' יצחק פריד, שמבצע הקלטות תוך מוחיות בחולי אפילפסיה. ושם לראות גם, שוב, את הבסיס לחוויה מודעת ביריבות בין עינית, זה יחד עם ד"ר הגר גלברד שגיב. ושם באמת קיבלנו הקלטות מתוך המוח, שזה סוג של דאטה שהוא מאוד מרגש אנשים, כמובן.
פרופ' דודאי: אבל זה אפשרי רק כשיש עילה קלינית, לבחון את הפתולוגיה וזה תוך כדי.
פרופ' מודריק: נכון. אתה צודק לגמרי.
אני רוצה עוד להספיק שתי שאלות קטנות שאנחנו עוסקים בהן. [צוחקת] לא כל כך קטנות. האחת היא שאלת חופש הרצון. וזה מתקשר למה שדיברתי עליו קודם. כי אפשר לשאול האם המודעות נדרשת למשל בשביל קריאה? האם היא נדרשת בשביל זיהוי פרצופים? ובאותה מידה אפשר לשאול האם היא נדרשת בשביל פעולה רצונית?
כשאני עכשיו מחליטה לשוחח איתך, נניח בפודקאסט הזה. האם ההחלטה הזו התקבלה בצורה מודעת, או שהיו גורמים לא מודעים שדחפו אותי אליה. 'דחפו' זה עוד קל, אבל קבעו אותה. זה כבר קצת יותר מורכב לנו אני חושבת לקבל. והשאלה האחרונה זה עד כמה התוכן של החוויה המודעת שלנו של התפיסה, מושפע מהידע שלנו, האמונות שלנו, הציפיות שלנו וכך הלאה.
פרופ' דודאי: את השתמשת במונח 'חופש הרצון' ולא 'חופש הבחירה'. זה מבחירה?
פרופ' מודריק: [צוחקת] אני לא בטוחה. אממ… לא, זה לא מבחירה, זה מושג שאיכשהו נדבק. אבל אני חושבת שיש פה כן הבחנה משמעותית שאתה עושה בין 'רצון' לבין 'בחירה'. והאמת היא שאולי באמת מדויק יותר לומר 'חופש הבחירה'. כי אנחנו לא באמת יכולים לבחור מה הרצון שלנו. במובן הזה הרצון אולי באמת אינו כל כך חופשי. אני יכולה לרצות מאוד, נחזור רגע לשוקולד, לאכול קוביית שוקולד. ומצד שני אני יכולה לרצות מאוד, נגיד, להיות בריאה ולא לאכול שוקולד. ואני לא בחרתי, זה שעכשיו אני רואה את השוקולד הזה מולי ואני נורא רוצה אותו, אני לא בחרתי בזה, זה פשוט רצון שיש לי. הבחירה שנתונה לי זה על פי איזה רצון ללכת.
פרופ' דודאי: אני, מחופש הבחירה והרצון שלי לא אכנס, לפחות לא עכשיו, לעומק לנושא של חופש הרצון וחופש הבחירה. לא משום שזה לא מרתק, זה מרתק בצורה בלתי רגילה. זה גם מסביר.. הנושאים שאת עוסקת בהם, מסבירים את הרקע האקדמי שלך, שניכנס אליו מעט בהמשך, הרקע הפילוסופי. אלה נושאים שהם תרגום של פילוסופיה לפילוסופיה מעשית, כך אני קורא להם.
פרופ' מודריק: אני רק אעיר דבר קטן בהקשר הזה, הפרויקט הזה על 'חופש הבחירה' ו'חופש הרצון' הוא מיוחד מאוד בשבילי. כי זה פרויקט שבו יש כרגע שמונה חוקרי מוח ותשעה פילוסופים מכל העולם, שעובדים יחד כדי לעשות בדיוק מה שאתה קראת עכשיו, אולי לא פילוסופיה מעשית, אבל "חקר מוח מונחה פילוסופיה". וזה די מעניין לשמוע איך זה קורה. כי אנחנו, חוקרי המוח, חושבים על ניסוי, אנחנו מעבירים את זה לפילוסופים, הפילוסופים אומרים לנו מה לדעתם כל תוצאה תגיד, ואז לפעמים אנחנו גם משנים את הניסוי. זאת אומרת, יש פה ממש עבודה של שיתוף פעולה בין דיסציפלינות, שאני מאוד מאוד...
פרופ' דודאי: שיתוף פעולה בין־לאומי בין דיסציפלינות.
פרופ' מודריק: כן.
פרופ' דודאי: ידיד שלי, פרופסור ערן זיידל, שהיה מן החלוצים בחקר, מה שנקרא "המוח המפוצל", ששתי ההמיספרות מנותקות זו מזו, אמר פעם שכל מדען טוב הוא גם פילוסוף פעיל. אני מקווה שהוא צדק, אבל במקרה שלך את מראה את זה גם בעובדות בשטח ובעבודה הקבוצתית.
אני ברשותך, מבקש לחזור לנושא הראשון שהזכרת, והוא הנושא של "התודעה". מה שנקרא, הבעיה הקשה בתולדות מדעי המוח והקוגניציה, מה שנקרא בזמנו The C-Problem – Consciousness Problem, ומה שפעם, אבל לשמחתנו או לאהבתנו, זה תלוי, לא היום, היו אומרים תעסוק בזה רק אחרי שאתה פורש לגמלאות. את ודאי מכירה את כל ההיגדים האלה. אנחנו שנינו חונכנו באותו מקום ב-"California Institute of Technology". והנה הנושא הזה זוכה לתחייה ולרענון בשנים האחרונות מצד מדענים רציניים מאוד. ואני שואל, מה גרם לכך שהחלה התעניינות מחודשת בנושא? הרי זה לא נובע מזה שסיימנו את שאר פרקי הבנתנו את המוח ואת הקוגניציה. ואחרי זה ניגש לשאלה שמעניינת אותי בהקשר הזה.
אז אולי תאמרי, מה גרם? האם טכנולוגיות חדשות? האם תיאוריות חדשות? האם רצון חופשי חדש?
פרופ' מודריק: האמת היא, שזו שאלה מרתקת, יותר מתחום הסוציולוגיה של המדע. כי נראה שבמקרה הזה, זה היה כובד משקל של חוקר אחד ספציפי, פרנסיס קריק, זוכה פרס נובל, שהחליט יחד עם כריסטוף קוך, אז חוקר צעיר, היום ראש "מכון אָלֶן" לחקר המוח בסיאטל, שהייתה לי הזכות והכבוד לעבוד, לעשות אצלו את הפוסט-דוקטורט שלי. וקריק וקוך מפרסמים סדרה של מאמרים, בשנות ה-90 והאלפיים, שאומרים: צריך לחקור את המודעות. אפילו קריק בספר שלו, "ההיפותזה המופלאה", כותב: כל מעבדה צריכה שיהיה לה שלט על הדלת, "consciousness now", כי אחרי שפתרנו את חידת החיים עם ה-DNA, החידה הגדולה ביותר שניצבת לפתחנו, היא חידת התודעה.
פרופ' דודאי: זהו, פשוט להזכיר שזה אותו קריק, מווטסון וקריק, שני אנשים שלמעשה פתחו את הביולוגיה המודרנית. יחד עם אחרים, אבל הם פרסמו את המאמר, הידוע…
פרופ' מודריק: רוזלין פרנקלין בהקשר…
פרופ' דודאי: נכון, רוזלין פרנקלין, שהיום היה מתעורר סקנדל אם היא לא הייתה על המאמר או לפחות על מאמרים מקבילים, ובצדק. אבל זו הייתה תקופה אחרת, שהם פיענחו את המבנה של חומצת הגרעין ואת האפשרות שלה להעביר אינפורמציה מדור לדור, והם ידועים בין השאר בעולם המדע, במשפט הסיום המופלא של המאמר ב- Nature: "לא נעלם מבינתנו, שמה שמצאנו יש לו חשיבות להבנת הקוד הגנטי". היום זה היה זוכה ודאי למשפט פתיחה. אבל בכל מקרה זה אותו קריק. אז השפעתו על עולם הביולוגיה היא אדירה, ולכן אולי מה שאמרת מוסבר על ידי משקלו הכבד.
פרופ' מודריק: כן, אז היו מחקרים של מודעות גם בלעדיו, ורוג'ר ספרי, עוד זוכה פרס נובל לניתוחי הSplit-brain, שבהם שינוי אנטומי, כאשר חתכו בעצם את החיבור בין שתיים ההמיספרות, הוביל גם לשינויים בתודעה, ולכאורה לתודעה שנייה במוחות של החולים האלה. היום כבר יש כאלה שגם מערערים על זה.
אבל מי שבאמת הפך את זה לשדה, הם שני האנשים האלה, שפרסמו את סדרת המחקרים שבהם הם אמרו, הנה כללי אצבע, כמו שהזכרת קודם, לאיך לחקור מודעות במעבדה. וכשמישהו כמו פרנסיס קריק נותן לזה את הלגיטימציה או את הגושפנקה המדעית, אז פתאום יש אנשים שמקשיבים, והתחום ממש עובר מהפך. אז הכנס הראשון נקרא "Towards the Scientific Study of Consciousness"– לקראת מחקר מדעי של מודעות, והיום כבר יש לנו את "The Scientific Association for the Study of Consciousness". היום יש מאות, אם לא אלפים, של חוקרים ברחבי העולם שעוסקים בדבר הזה. אולי מאות זה יותר מדויק.
אבל אם נחבר את הסטודנטים, כבר נגיע גם לאלפים, וזה תחום שהוא, שוב, בעיני רבים נחשב לחידה הגדולה ביותר. זאת אומרת, אם אנחנו לא נסביר את "התודעה", לא הסברנו בני אדם ולא הסברנו מוח של בני אדם.
פרופ' דודאי: אבל הרי לא מספיק שיקום מישהו שמאוד מכבדים אותו, ויגיד: "חבר'ה, רבותיי, ladies and gentlemen, הגיע הזמן שנתחיל לחקור את זה". צריך להיות דברים נוספים שיאפשרו את מימוש החזון. החזון עצמו איננו מספיק. האם השתנו גם הכלים?
פרופ' מודריק: כן, אז אין ספק שהמהפכה שהביאה איתה fMRI הייתה משמעותית בהקשר הזה לכל המדעים הקוגניטיביים.
פרופ' דודאי: הדמיה מגנטית תפקודית.
פרופ' מודריק: נכון.
אבל מעבר לזה, בכלל, הייתה פריחה של כל התחום הזה של חקר המוח. זה אגב סיפור מרתק בפני עצמו, כן? כל המילה הזאת, 'neuroscience', היא בסך הכל מילה חדשה. רק בשנות ה-50 של המאה ה-20, אם אני לא טועה, בכלל המושג הזה הומצא.
אחרי, אמנם היו הרבה חקירות פיזיולוגיות ואנטומיות של המוח, אבל הניסיון לחבר קוגניציה לאנטומיה ולהבין את הקשר ביניהם, הוא משהו חדש יחסית, כל ה-cognitive neuroscience, ולתוך זה נכנסה גם השאלה הזאת של חקר המודעות.
פרופ' דודאי: אז אמרת שיש כלים, אני מניח שהכלים האלה הם לא רק כלים של מדידות, אלא גם כלים חישוביים וכלים תיאורטיים וכדומה. ואני רוצה לחזור פה לשאלה, והיה והכל בסדר, וקריאתו של קריק, קריאה שנענים לה אנשים מעולים כמוך ועוד מאות סטודנטים שנוהים אחריהם וכדומה, והשאלה היא מה אנחנו מצפים למצוא.
וכאן אני פשוט אאחז במאמר היפותזה, שמומלץ מאוד למי שקורא קצת מדע. המאמר כתוב בצורה מובנת לכולם בעיתון סיינס, מהשנה, ממאי 2021, שהתת כותרת שלו, מסבירה את שאלתי שתכף תבוא. המאמר הוא היפותזה, את חתומה עליו, יחד עם מלוני ופיטס וכריסטוף קוך. וההיפותזה אומרת: "Making the hard problem of consciousness easier", איך הופכים את הבעיה הקשה לקלה יותר. ואז כתוב למטה: "מטרתנו לחשוף את טביעת האצבעות של התודעה". זו נקודה קריטית בשבילי, כי אני רוצה להוליך לדקות ספורות את השיחה על הנושא מה זה הבנה, ואני אסביר גם למה.
בסופו של דבר, כשאני מסתכל על זה, אילו לא הייתי מסתכל על זה ואומר, הם רוצים להבין את ה-consciousness, אני מיד מצטרף, אני, מאוחר מדי בשבילי להצטרף כדוקטורנט או פוסט-דוק, אבל אפשר תמיד לעבוד בשבתון. אני מיד, זה נהדר. אבל מראש מטרתכם, כמה שאני מבין, היא לחשוף את טביעת האצבעות של התהליך. טביעת האצבעות, איננה… היא מוחצנת. זאת אומרת, זה דבר חיצוני של תהליך. יש הרבה דברים שאנחנו יכולים לגלות את טביעת האצבעות שלהם, בלי לדעת מה קורה בפנים בדיוק. וזה מוליך אותי השאלה, מה היא הבנה? איך נבין תודעה? והאם אפשר להבין תודעה?
אולי כהקדמה קצרצרה, אני העברתי במשך שנתיים קורס ארוך באוניברסיטת ניו־יורק, בנושא, 'מהי הבנה במדעי המוח?' ואחד הדברים שעשינו שם בין השאר, היה להביא מדענים בכירים מהפקולטה וגם מאחרים, שינסו לקחת פרויקט שלהם ולהגיד מה הם קיוו להבין ומה הם הבינו אחר כך. ועלתה השאלה, מהי הבנה?
כתוצאה מכך, כתבתי אימיילים לכ-120 איש, את מכירה את חלקם הגדול, רחבי העולם, מדענים בכירים, ואמרתי להם: "הנה הגדרה ספונטנית של.. יוריסטית, זמנית של הבנה. אנא אמרו לי, אם אתם לא מסכימים, מה ההגדרה שלכם?" וזה היה מעניין לראות מה הם אומרים. אז הנה אני שואל אותך, את מעוניינת להבין, כי את משתמשת במונח הזה, "תודעה", מה את מצפה להבין חוץ מטביעת האצבעות החיצונית?
פרופ' מודריק: אז אני חושבת שהתשובה לשאלה שלך, השאלה היא מורכבת והתשובה בהתאם היא גם מורכבת.
יש כמה רבדים ללהבין תודעה. שאלה אחת זה, האם לתודעה יש פונקציות קוגניטיביות? ואלה סוג הניסויים שאנחנו עושים כשאנחנו מנסים להנגיד בניגוד מודע לבין ניגוד לא מודע.
אבל שאלה אחרת שאנחנו מנסים להבין, זה, כפי שאמרתי בהתחלה, זה איך מודעות נולדת מתוך פעילות מוחית? וכאן אני מסכימה איתך שטביעת אצבע לא תספיק. והאמת היא שהפרויקט הזה שאתה מצטט את המאמר שנכתב עליו, הוא, אני חושבת, פרויקט מאוד מאוד ייחודי בדרך שבה הוא נעשה וגם במטרה שלו. והמטרה שלו כרגע היא להכריע בין שתי תיאוריות מובילות של מודעות.
והתחום הזה של חקר התודעה עבר מבאמת התחקות רק אחרי טביעת האצבע או ה-neural correlates of consciousness, הקורלטים העצביים של התודעה, לתיאוריות שאומרות, הנה יש לי מנגנון, שמנגנון תסכים איתי שיותר קרוב להבנה.
פרופ' דודאי: תיכף נדבר על זה, אבל אולי רק למען תועלת השומעים, שני המודלים שאת מדברת עליהם, אם את יכולה לומר מילה על כל מודל, כי הם די פשוטים להבנה.
פרופ' מודריק: בהחלט. אז יש פה שני מודלים או שתי תיאוריות. אני רק עוד לפני שאני אסביר אותם, אני אומר ששתי התיאוריות האלה התפתחו במקביל. זאת אומרת, כל אחת הייתה עסוקה בלפתח את עצמה ולהוכיח את עצמה, וכמעט שלא היה שום, מה שאנחנו אומרים באנגלית "cross talk", או דיבור בין התיאוריות כדי לנסות לבחון אחת את השנייה.
מה שקרה זה, שבתחום שלנו זה לא רק שתי התיאוריות האלה, יש הרבה תיאוריות, כל אחת מנסה להסביר את המודעות ואין התקדמות. אז מה שאנחנו מנסים לעשות בפרויקט הזה, זה להושיב, הושבנו, את שני החוקרים שמובילים את התיאוריות האלה, סטניסלס דאן וג'וליו טונוני, תכף אני אסביר כאמור מהן התיאוריות, ואמרנו להם, בואו ביחד ננסה לחשוב על ניסויים שיבחנו את התיאוריות שלכם. ואתם מראש מתחייבים, זו התוצאה שאני מצפה אליה וזו התוצאה שאני מצפה אליה ואנחנו.. אני בטוחה שבסוף אף אחד לא יגיד: "טעיתי, מודה ועוזב ירוחם, אני את התיאוריה שפיתחתי 20 שנה אני זורק לפח", אבל הם כן יהיו חייבים לפחות לעשות תיקונים בתיאוריות שלהם. וכן יהיה שקוף שלפני שעשינו את הניסוי, זו הייתה הפרדיקציה שלהם ועכשיו היא השתנתה. ועכשיו אני אסביר מהן התיאוריות...
פרופ' דודאי: מהן התיאוריות?
פרופ' מודריק: כן. אז תיאוריה אחת של סטניסלס דאן נקראת "Global Neuronal Workspace", והרעיון הוא שיש רשת...
פרופ' דודאי: אולי ננסה לתרגם לעברית.
פרופ' מודריק: "הרשת הניהולית הגלובלית", או "הרשת העצבית הגלובלית", והרעיון הוא שיש באמת איזושהי רשת ניהולית שהבסיס שלה הוא בעיקר באונה הקדמית ובאונה הפָּרִיאֶטָלית, שבעברית זה הקודקודית. ששם יש נוירונים, תאי עצב, ששולחים שלוחות או אקסונים לאזורים רבים במוח. והרעיון הוא שהרשת הזאת, ברגע שנכנס אליה מידע, היא משדרת את המידע הזה על פני אזורים רבים, וכאשר המידע משודר, הרי הוא מודע.
זאת אומרת, שאם אני עכשיו מבזיקה לך תמונה מאוד מאוד מהירה, אז המידע יעובד באזורים המיועדים לכך, נניח אזור העיבוד פרצופים אם הצגתי לך פרצוף, אבל כל עוד זה לא חצה איזשהו סף, זה לא ייכנס לרשת הגלובלית ואני לא אהיה מודעת לפרצוף הזה. רק אם הגירוי הוא מספיק חזק או אם הקשב שלי מופנה אליו, זה ייכנס לרשת הגלובלית ואז אני גם ממש אתפוס את הגירוי בצורה מודעת. אז, זו ה-Global Neuronal Workspace או הרשת העצבית הגלובלית. זאת תיאוריה…
פרופ' דודאי: זאת אומרת שיש במוח, לפי זה, רשת מסוימת, שמידע שמצוי בה הוא מתורגם לתחושה שאנחנו חשים כתודעתנו.
פרופ' מודריק: בדיוק.
פרופ' דודאי: זאת אומרת, במידה מסוימת, תקני אם אני טועה, זה מין ניאו-פרנולוגיה, כי זה אומר, 'פה זה קיים'. סליחה, הניאו-פרנולוגיה פירושו, ניסיון להבין פעילות, את תפקודי המוח, על פי המיקום שבו נמצאת פונקציה.
פרופ' מודריק: אז אני לא חושבת שזה רק מיקום, אני חושבת שזה יותר דרך עיבוד. זאת אומרת, יכול להיות למשל שהניסויים שלנו יראו שזה לא פרונטלי. יכול להיות שאנחנו נמצא שהרשת הגלובלית בכלל היא רק פריאטלית, היא לא קדמית, היא קודקודית. זה לא ישנה את התיאוריה, זה ישנה את התחזיות האנטומיות שלה, של איפה הרשת נמצאת, אבל כל עוד יש רשת גלובלית, תהיה אשר תהיה, איפה היא ממוקמת במוח, והתפקיד שלה או הפונקציה שלה הוא לשדר מידע לאזורים אחרים, אז זה, התיאוריה הזו חיה בשלום.
פרופ' דודאי: זאת אומרת, אם הייתה פגיעה ברשת הזו, "רשת X" לצורך העניין שלנו, אנחנו פוגעים בתודעה, למרות ששאר הדברים במוח יכולים לתפקד כיאות.
פרופ' מודריק: זו התחזית. צריך לומר שהנוירונים, לפי התיאוריה, הנוירונים או תאי העצב של הרשת הזאת, הם לא ממוקדים במקום אחד, אלא הם מפוזרים על פני הקורטקס, קליפת המוח הקדמית והקודקודית, ולכן הסבירות שאתה תוכל לפגוע בכל הרשת היא מאוד מאוד נמוכה. זה לא כמו אזור שהוא מאוד-מאוד ממוקד במיקום שלו, כמו שהזכרתי קודם את אזור עיבוד הפרצופים. אם אני פוגעת באזור עיבוד הפרצופים, אז אנחנו יודעים מה יקרה. ככל הנראה, לחולה הוא יסבול עם מצב שנקרא "פרוסופגנוזיה", שזה חוסר יכולת לזהות פרצופים. זה לא עובד ככה במודעות, כי הרשת היא פרוסה על פני אזורים רבים, הנוירונים פרוסים על פני אזורים רבים בתוך קליפת המוח הקדמית, ולכן יותר קשה להגיע לפגיעה ספציפית במודעות.
פרופ' דודאי: זאת אומרת, שקיומה של רשת כזו לפי המודל, לא מפריע לאפשרות שתהיינה פגיעות הדרגתיות בתודעה. זה לא אפס או אחת.
פרופ' מודריק: נכון. אז זאת תיאוריה אחת.
והתיאוריה השנייה נקראת "Integrated Information Theory", או "תיאוריית המידע המאוחד". אמרנו, הציע אותה ג'וליו טונוני, והיא האמת תיאוריה מסובכת.
פרופ' דודאי: בואי נפשט אותה.
פרופ' מודריק: אני אנסה.
יש עליה ויכוחים גדולים, וזה מאוד מעניין לראות עד כמה הם חמים, ולוהטים הויכוחים האלה. כי מי שתומך בתיאוריה חושב שזו התיאוריה היחידה ואין בלתה, ומי שמתנגד לה אומר שזאת כת, ואפילו אי אפשר להתייחס אליה כאל תיאוריה מדעית. אז זה שדה ממש שמפורק וככה עימות חריף יש בתוכו, סביב התיאוריה הזאת. מה שכל כך מיוחד בה, זה שהתיאוריה הזאת לא מתחילה בכלל בתצפיות מדעיות, בניגוד לתיאוריה הראשונה. לפחות כך היא מוצגת.
אז טונוני אומר, אני מתחיל בפנומנולוגיה. אני מתחיל בהסתכלות פנימה, ובשאלה מה הן חמש האקסיומות שחייבות להתקיים כדי שאני אהיה מודע, או שחייבות להתקיים בכל חוויה מודעת. והוא מונה אותן.
החוויה המודעת צריכה שיהיה לה כוח סיבתי, זאת אומרת היא צריכה להתקיים בשביל עצמה.
היא צריכה להיות אינפורמטיבית, זאת אומרת, שכשאני רואה אותך או מדברת איתך עכשיו, אני חווה את החוויה של לשוחח עם ידין, אז אני יודעת, גם שאני משוחחת איתך, אבל האינפורמציה היא גם, שאני לא בים, ואני לא עכשיו נותנת שיעור, ואני לא עם הילדים בבית. הכוח של החוויה המודעת, הכוח האינפורמטיבי שלה, הוא גם בשלילת כל החוויות האחרות.
ואקסיומה אחרת אומרת שהחוויה היא מדויקת – It is what it is. אי אפשר להוציא ממנה חלקים. אני לא יכולה פתאום לראות את העולם בשחור לבן. גם אם הייתי מאוד-מאוד רוצה. ובמובן הזה, היא מוציאה, יש דברים שאף פעם לא יוכלו להיכנס אליה, וזו כבר האקסיומה הנוספת.
והאקסיומה האחרונה, אמרתי אותן לא לפי הסדר, אבל לא נורא, זה שהחוויה המודעת היא תמיד מאוחדת, היא תמיד אחת. זה מה שאמרתי קודם. אבל מצד שני, היא גם מורכבת. זאת אומרת, אני יכולה עבור כל חוויה מודעת, לייצר אבחנות. למשל, אני.. נניח, בוא נדמיין שאני בפארק. אז אני יכולה להגיד, 'יש פה עץ אחד ליד עץ אחר. למעלה יש שמיים. הנה שני ילדים מטיילים'. זאת אומרת, על אף האחדות של החוויה, אני תמיד יכולה למצוא בה גם אבחנות שאני עושה בתוכה. היא גם מורכבת. אז עכשיו יש לנו את חמש האקסיומות של החוויה.
פרופ' דודאי: אם אני לוקח את כל האקסיומות הללו ומחבר אותן יחד, או אפילו חלק מהן, אני עקרונית רואה מצב שאני יכול, לא צריך את המוח בשביל זה, אני יכול לבנות תוכנת מחשב שתעשה בדיוק אותו דבר. בעוד שהמודל הראשון שציינת אותו, מתבסס על יכולות של המוח. אז מה עושה את המודל השני? אני לא לוקח עמדה פה, אני רק רוצה להבהיר, אני לא שייך לקהילת העוסקים ב"שאלה הגדולה". לפחות מאלה שמגדירים את עצמם כעוסקים במה שהם מגדירים כ"שאלה גדולה". אז מה עושה את זה לכל כך קורץ לחוקרי מוח?
פרופ' מודריק: אז זה דווקא מעניין, דווקא לפי התיאוריה השנייה, רובוט או לא יודעת, איזושהי מכונה, כולל אפילו לוח אלקטרוני מסוים, יכול להיות באמת שתהיה לו תודעה, אבל מצד שני לסימולציית מחשב, ל-AI, אינטליגנציה מלאכותית, לא תהיה תודעה, לפי התיאוריה הזאת. בעוד שלפי התיאוריה הראשונה, ואפילו פרסומו על זה איזה מאמר ב"סיינס", אם תהיה מערכת AI שתהיה לה אינטגרציה ושידור גלובלי של מידע, היא כן יכולה להיות מודע.
פרופ' דודאי: למה אגב, חמשת האקסיומות הללו מוליכות אותנו למצב שבו מערכת מלאכותית לא יכולה שתהיה לה תודעה? הרי זה תלוי מה את שמה בתוכה.
פרופ' מודריק: נכון, אבל האקסיומה הראשונה היא שהמערכת תשפיע על עצמה. זאת אומרת שהמודעות תהיה כוח סיבתי. מבחינתם, אם החומרה יכולה להשפיע על עצמה, אז יש סיכוי שתהיה שם מודעות, כמו שהמוח משפיע על עצמו.
אבל הדבר החשוב אני חושבת שאפשר לציין זה שמתוך חמש האקסיומות, התיאוריה הזאת גוזרת מה שהם קוראים "פּוֹסְטוּלָטִים". שהם אומרים, מתוך ניבוי מתמטי, מתוך פיתוח מתמטי, תנו לנו את המערכת ואנחנו נגיד לכם מה צריך להיות במבנה שלה, כדי שהיא תהיה מודעת.
ואז, בסופו של דבר, יש להם, שאלת מה חוקרי המוח מוצאים בזה, כי הם אומרים, בואו עכשיו נסתכל על המבנה של המוח, ואנחנו נגיד לכם לאיזה אזור במוח יש מבנה שהכי תואם למבנה שצריך, כדי שתהיה שם מודעות. והם מדברים על הקורטקס האחורי, על קליפת המוח האחורית, כשבנויה, כפי שהם מציגים את זה, בצורה של "גריד", כמו מין שטיח כזה של חיבורים, בהשוואה לקורטקס הפרונטלי שהוא יותר בארגון רנדומלי, בשפה של…
פרופ' דודאי: לא, זה לא קצת Catch 22 [מלכוד 22] כזה? זאת אומרת שאת אומרת, אם אני מניח ככה, המבנה של זה מתאים לזה וזה מחזק לזה וזה, אבל ודאי לא ניכנס כאן לפרטים של זה. משתי העמדות הללו, אחת שנובעת ממִן וריאציה של introspective psychology, התבוננות פנימה, שהיא השנייה, והראשונה שנובעת מ… אני מפשט מאוד, מחקר המוח עצמו, במה את...
פרופ' מודריק: פסיכולוגיה, צריך לתת קרדיט כי הם נשענו על מודל פסיכולוגי.
פרופ' דודאי: כן, כן, כן, סליחה, כן, כן, כן, ודאי, ודאי. אני, אצלי זה מחוברים, קשר בל ינתק בין מדעי המוח, קוגניציה ופסיכולוגיה, אין אפשרות לנתק את זה.
פרופ' מודריק: אני איתך.
פרופ' דודאי: מה משני המודלים האלה מדבר אליך יותר?
פרופ' מודריק: קודם כול, אני בפרויקט הזה, יחד עם עוד שני חוקרים אחרים...
פרופ' דודאי: את השופט.
פרופ' מודריק: אנחנו הניטרלים. אנחנו לא לוקחים צד. יש למעשה 11 מעבדות, אבל 6 מתוכן אוספות דאטה, ואנחנו משתמשים בשלוש שיטות לחקור את המוח כאן, גם fMRI, הדמייה שהזכרת קודם, גם MEG, EEG, שזה הקלטה של פעילות חשמלית, וגם הקלטות מתוך מוח של חולים, כן?
פרופ' דודאי: היא מגנטית.
פרופ' מודריק: בהחלט. וגם מתוך הקלטות מוח של חולים, כמו שהזכרתי קודם. אז אנחנו באמצעות 3 שיטות, 6 מעבדות ו-600 דאטה סט שאנחנו אוספים, עושים את הניסויים האלה. אז לא יכולה להיות שתהיה לי עמדה, מכיוון שאחרת אני אמעל בתפקידי כ...
פרופ' דודאי: תכתבי על פתק קטן.
פרופ' מודריק: בשוויץ בפרויקט הזה.
פרופ' דודאי: תכתבי על פתק קטן בצד, שימי אותו, ועוד שנתיים, שלוש נפתח אותו ונראה מה קורה.
אני מבקש, לפני שאנחנו נעבור קצת לעברך האקדמי, קודם כול, אל נושאים שהם בוודאי בליבת ההבנה האנושית, אבל עדיין אני מנסה להעלות את השאלה, ומבקש להעלות את הנקודה. שני המודלים בצורה זו או אחרת מדברים על הסבר מכניסטי. זאת אומרת, הם אומרים: "אנחנו מנסים להבין את המכניזם". בשבילי המכניזם הוא גם לא כל כך רחוק מטביעת האצבע או החתימה. ואני רק מבקש להעלות את הנקודה, שאני חושב שמי שמצפה, מן השומעים, לכך שהפרויקטים האלה יסבירו לו, שיבין למה הוא חש ברגע זה, ההסבר יהיה עדיין מהחוץ. זאת אומרת, הוא יקבל אולי דיאגרמה או ספר או תוכנת מחשב שאולי אפילו תעשה סימולציה. וזה שוב חוזר לנקודה, מה פירוש הבנה? מהי הבנה?
אני אתן לך את התוצאה שיצאה מהסקר הארוך שלקח כשנתיים. היא לא, היא אולי לא כל כך מפתיעה. בסופו של יום, מה שהמדענים בתחומים שאני מכיר אמרו, הבנה, היא, הבנה היא האפשרות מבחינתם, או מבחינתנו, זה לא תורה מסיני, לא כזה ראה וקדש, זה בקונטקסט המדעי, היכולת לקחת תצפיות, להסיק מהן מה אני צופה אם אני אעשה בהן מניפולציות, זאת אומרת, מה תהיה התוצאה של מניפולציות בתצפיות הללו, בממצאים הללו, וכל זה כאשר זה משולב לתוך איזשהו מודל מנטלי. איזשהו מודל שיש לי של העולם. זאת אומרת, אני חייב ליצור לעצמי איזשהו מודל.
והשאלה שאני, כל הזמן מנקרת לי בראשי, או במוחי, או באוזניים, היא, בסופו של יום, אמנם אנחנו מתקדמים מאוד בהבנת המכניזמים, כך אני מניח' שיובילו אותנו לומר הנה קורלציה בין פעילות מוחית לבין תודעה, אבל האם זה יחליף את היכולת להבין, בצורה סובייקטיבית?
אני רק מעלה את השאלה, כי אני חושב שאנחנו יכולים לבלות שנינו שעות בדיונים מעמיקים בנושא, ואין עמדתי בעניין הזה ברורה לי עצמי לחלוטין. אלה כמובן נושאים מרכזיים וחשובים. האם ניסויים שנעשים במעבדתך מדברים עם שני המודלים הללו? את, חוץ מהיותך שופטת בתחרות הבינלאומית להבנת התודעה, גם מנסה…
פרופ' מודריק: אני ראשית רוצה להגיד, אני לא שופטת.
פרופ' דודאי: אני מיניתי אותך בזה לשופטת.
פרופ' מודריק: וגם העבודה שאנחנו.. באמת הפרויקט הזה גזל ממני שעות רבות של חיים, שינה ומאמץ. כשאתה אומר 'שופטת', זה נשמע כאילו אני יושבת על הטריבונה עם משרוקית.
פרופ' דודאי: לא, לא, חס וחלילה. לא זו הכוונה.
פרופ' מודריק: ואני רק רוצה להתייחס למה שאמרת קודם. תראה, אתה קולע כאן לדעתם של פילוסופים רבים שחושבים, הזכרת קודם את "הבעיה הקשה", כן? פילוסוף בשם ניגל, מהמאמר המפורסם שלו – "What Is It Like to Be a Bat?", או "איך זה מרגיש להיות עטלף?".
פרופ' דודאי: כן, נכון.
פרופ' מודריק: כלומר, לא משנה כמה אתם תסבירו לי על המערכת העצבית של עטלף, אני לא יודע איך זה מרגיש להיות עטלף. ובמובן הזה אני איתך. לא משנה כמה אנחנו נבין את המוח, אנחנו עדיין לא נדע מהו הטעם של השוקולד, שאני חווה כשאני טועמת שוקולד.
אגב, IIT - Integrated Information Theory, תיאוריית המידע המיוחד, להם יש שאיפות אפילו לפתור את "הבעיה הקשה". אבל אני רק אגיד משהו לגבי "הבעיה הקשה".
דיוויד צ'אלמרס, הפילוסוף שהציע אותה, וטען שהמדע לעולם לא יצליח לפתור אותה, לפני נדמה לי, 24 שנים, עשה הימור מול קריסטוף קוך. קריסטוף חשב שתוך 25 שנה הבעיה תיפתר, צ'אלמרס חשב שלא. בעוד שנה פג המועד, ואני חושבת שקריסטוף יהיה זה שיהיה צריך לקנות את הארוחה עוד שנה לצ'אלמרס ולא להפך.
זאת אומרת, הספקנות הזאת לגבי היכולת שלנו לחקור את התודעה היא קיימת, היא לא.. היא בהחלט מוצדקת. ואני חושבת שכל מי שעוסק בתחום הזה שלי, צריך להיות, לגלות מידה גדולה של צניעות. אני, אין לי שום אמונה שאני אצליח אי פעם לפתור את הבעיה הזאת.
פרופ' דודאי: שימי לב שהכנסת אמונה לכאן.
פרופ' מודריק: כן, כי זה באמת אמונה, אני חושבת. זה אמונה לא במובן הדתי, זה לא עובדה. אני שואלת, הערכה, אתה יודע מה, אני אעבור להערכה. אני לא מעריכה ש"הבעיה הקשה" תיפתר בימי חיי. אבל החיפוש אחר התשובה הוא מעניין, וההתקדמות שאנחנו נוכל להשיג לעבר הפתרון, אני חושבת שהיא מאוד חשובה, ויש לה דרך אגב גם השפעות קליניות. זאת אומרת, אם אנחנו נצליח להבין אפילו את טביעת האצבע, זה יכול כבר לעזור לאנשים עם הפרעות של מודעות, כמו מצב של קומה, או מה שאנחנו קוראים צמח, היום כבר לא אומרים צמח, חוסר תגובה, או minimally conscious, מודעות מינימלית. כל הדברים האלה מאוד משמעותיים לבני אדם. וגם אם לא נפתור את השאלה איך המוח מוליד את המודעות, הבנה יותר טובה של הקשר ביניהם יכול להיות מאוד משמעותי גם בהקשר.
פרופ' דודאי: לזה אני מסכים לחלוטין, אני לגמרי איתך. רק הערה, מין סטייה צידה, לא ממש הצידה. לפני, אם אני לא טועה כבר כמעט עשר שנים, אבל יכול להיות שאני טועה בשנים כאן. בשביל מדען בתחום הזה, עשר זה בין חמש לחמש עשרה, אבל זה לא יותר מעשר. הקהילה האירופית החליטה להקצות סכום כסף אדיר כדי לעשות סימולציה, איך אומרים סימולציה? סימולציה...
פרופ' מודריק: אנחנו היום מתקשים עם התרגום בעברית.
פרופ' דודאי: [צוחק] של המוח האנושי. בסופו של דבר, כדי, אני מנסה לתרגם לעברית, כדי לחתוך את הסיפור הארוך לקצר. המצב שם הוא שהצליחו לעשות סימולציה חלקית לחלק קטן מקליפת המוח של עכבר בן, נדמה לי, שלושה שבועות. זו התקדמות יפה מאוד.
אבל עלתה איזו שאלה, שבה אני זכיתי לשתף פעולה עם פילוסופית, מאברס, מאופסלה, ואפילו כתבנו על זה, מאמר שאני אשמח לשלוח לך. שאלנו את עצמנו מה אנחנו בעצם בין השאר מנסים להשיג, אם והיה ונצליח לעשות סימולציה של המוח האנושי, האם נבין אותו?
ואז עלתה השאלה הבאה, האם העובדה שאנחנו מצליחים לעשות משהו גורמת לנו להבנה. זה מושפע כמובן מהפילוסוף ויקו, שאמר בתרגום מאוד חופשי וברוטלי, "העושה הוא היודע". זאת אומרת כדי באמת לדעת משהו – את צריכה לעשות אותו. הנה, מצליחים לעשות סימולציה של משהו, ואז את נתקלת בבעיה שגם אם את עושה סימולציה, התהליכים בתוך הסימולציה, שהם לא לינאריים, שהם מאוד מורכבים, הם כאלה, שלמעשה את אינך יכולה להבין אותם מעבר לרמה הפנומנלית, מעבר לרמה שאת רואה. את לא יכולה להיכנס בפנים. אז אפילו אם היינו מצליחים לעשות איזה מוח קטן, באמצעות מחשבים, זה לא אומר שאנחנו מבינים על בוריו איך המוח עובד. ואני מצטרף לחלוטין לצניעות שלך, אגב, תכונה שאני מאוד ממליץ לחברות ולחברים שלי במדע, לא תמיד מקבלים את עצתי, אבל זה מאוד חשוב.
ליעד, אולי נלך ממדעי המוח להיסטוריה, אבל לא להיסטוריה של האומה או היסטוריה גלובלית, אלא להיסטוריה הפרטית שלך, איך הגעת לכל זה?
את יכולה להתחיל אחרי "infantile amnesia", זאת אומרת infantile amnesia מסתיים בערך בין שלוש לארבע, יש לך רשות להתחיל באיזה שנה שאת רוצה.
פרופ' מודריק: להתחיל בגיל ארבע, וואו. תשמע זו שאלה טובה באמת. אז בגיל ארבע אני ממש לא יכולה להגיד לך מה עשיתי ומה חשבתי, אבל אני כן יודעת שכשהגעתי לגיל 22, והייתי צריכה להחליט מה אני רוצה ללמוד באוניברסיטה.
פרופ' דודאי: את זוכרת מה היה באמצע?
פרופ' מודריק: אני זוכרת, אבל פחות טוב ממה שהייתי רוצה, ובהזדמנות אחרת הייתי שמחה שאתה ואני ננהל שיחה על זיכרון ובגידתו, כי אני ממש מצרה כל יום על כל הזכרונות שאבדו לי, שזה באמת משהו מטריד ביותר, אבל זה כבר באמת נושא לשיחה אחרת.
בכל מקרה, בגיל 22, כשרציתי, הייתי צריכה להחליט מה אני רוצה ללמוד, ונרשמתי לשני דברים. נרשמתי למתמטיקה-פילוסופיה, זה מה שרציתי בהתחלה, ואז שמעתי על התוכנית הבין-תחומית, על שם עדי לאוטמן, ונרשמתי גם אליה, ולשמחתי התקבלתי לשם.
פרופ' דודאי: באוניברסיטת תל אביב.
פרופ' מודריק: באוניברסיטת תל אביב. והתוכנית הזאת, אני תמיד אומרת שהיא אחת משלוש מתנות שקיבלתי בחיי. אחת זה הבן זוג שלי, גיא, אחד ויחיד. שתיים, זה העובדה ששירתתי בגלי צה"ל, ועבדתי שם, שזה אהבה גדולה.
פרופ' דודאי: נדבר על זה תכף, כן.
פרופ' מודריק: ושלוש, זו התוכנית הבין-תחומית. למה? כי הרגשתי כמו ילדה, ואני אומרת שזו קלישאה, אבל ממש כמו ילדה בחנות ממתקים. כי התוכנית הזאת, בשנתיים הראשונות, מאפשרת לך ללמוד מה שאתה רוצה. אני זוכרת שביום הראשון, הלכתי לסדנת תיאטרון עם חנה מרון, ולנוירואנטומיה, ולהיסטוריה, ולמתמטיקה, לאלגברה לינארית. חשבתי, 'מה קורה כאן?' כי זה היה פשוט מסעיר בצורה בלתי רגילה.
ואז הבנתי, תוך כדי תנועה, כשלקחתי עוד ועוד קורסים ומקצועות ועניינים, הבנתי שמעניינים אותי שני דברים. אחד, זה באמת פילוסופיה. והשני, זה המוח האנושי. ובפרט השאלה הזאת של התודעה, שבשלב באמת מאוד מוקדם, זה פשוט, זה גם קשור אחד בשני, כן? כמו שאומרים, אוהבים לומר באנגלית, שהיום אנחנו בורחים אליה יותר מדי פעמים, זה פוצץ לי את המוח, כן? It blew my mind.
לא הבנתי, איך באמת זה יכול להיות, שכל העושר הזה שאנחנו חווים, והעולם הפנימי שלנו, זה ברור לי לגמרי שכולו מגיע מהמכונה המופלאה שנמצאת בתוך הגולגולת שלנו, ואיך זה קורה. ואז התחלתי לקחת המון שיעורים סביב הדבר הזה.
פרופ' דודאי: רק הפסקה קלה, עכשיו היא פשוט כדי… להסיר מן השולחן את אותן שנים שפורמטיביות מאוד שהן לפני, במקרה שלנו, סיום התיכון או הליכה לצבא. כשהיית בבית ספר תיכון, חשבת שתהי מדענית או משהו אחר?
פרופ' מודריק: תשמע, זו שאלה שתשובה מביכה בצידה.
פרופ' דודאי: לכן אני שואל.
פרופ' מודריק: מצוין.
אז בתיכון אני הרחבתי פיזיקה ותיאטרון, והייתי משוכנעת שאני אהיה שחקנית, ואף זמרת. זה בערך התחיל בכיתה ב', אז לא רחוק מגיל ארבע, שהייתי בטוחה שהבמה נועדה לי, וזה המשיך בהדרגה עד שהבנתי שאני לא מספיק מוכשרת בכיוון הזה מצד אחד, ושיש עוד דברים שמעניינים אותי מצד שני.
אבל לא, לא חשבתי.. זאת אומרת, הייתי בכל מיני מסגרות של ילדים וזה וזה, אבל לא, לא חשבתי שאני אהיה מדענית. מאוד אהבתי את הפיזיקה, מאוד אהבתי מתמטיקה, אבל לא ידעתי מה יקרה איתי כשאני אגדל. לשמחתי, גם, גם בתור ילדה שמעתי הרבה "האוניברסיטה המשודרת", ושמעתי אחר כך "שעה היסטורית", שגם הייתה לי הזכות להגיש אחר כך. אז, אז כן נחשפתי להרבה ידע ולאהבת ידע, וזה כן הצית בי אש שלימים בערה בשדות האוניברסיטה. וזה דרך אגב, אם אני יכולה לנצל את הבמה הזאת, זו אחת הסיבות שאני חושבת שיוזמות כמו הפודקאסט הזה שלך, או ראיונות של חוקרים וחוקרות בתקשורת – הם כל כך חשובים. כי אנחנו אף פעם לא יודעים איפה הילד או הילדה שישמעו את זה בבית, וזה יזרע בהם איזה זרע שינבט, אז אני קוראת לכל מי ששומע אותנו, אם אתם חוקרים או חוקרות, צאו מהמעבדה או מהחדר. צפו על המעבדה שבחוץ.
פרופ' דודאי: אני מרשה לעצמי להצטרף לקריאה. את הפכת בגיל צעיר לאישיות רדיופונית יוצאת מן הכלל. אני מבין שזה היה שירות, התחיל בשירות בגלי צה"ל. הגעת לשם במקרה או שבגלל הקול?
פרופ' מודריק: לא, לא בגלל הקול בכלל, יש לי, להיפך. אני זוכרת במבחני הכניסה לגלי צה"ל, אז דן כנר שבחן אותי אמר שיש לי דיקציה מצוינת, אבל תיבה תהודה קצת פחות מוצלחת. כי יש לי קול גבוה מדי. בדרך כלל אוהבים קול עמוק כזה.
הגעתי כי, גם בתור ילדה ונערה עשיתי כל מיני פלירטוטים עם העולם הזה של התקשורת. הייתי בהתחלה כתבת נוער ב"כולנו" ואחר כך ב"מעריב לנוער", ועשיתי קצת דברים ברדיו ובטלוויזיה טיפה, לא יודעת להגיד לך כל כך למה. התחשק לי אז עשיתי. אז גלי צה"ל היה המשך טבעי של זה כנראה.
פרופ' דודאי: זו נקודה מאוד מעניינת, כי את בוודאי אישיות רדיופונית מקסימה, אבל את גם עוסקת בזה היום. זאת אומרת, את לא נטשת את זה. השאלה שלי היא שאלה לא למה את לא נטשת מבחינת העיסוק, אלא מה מושך אותך בתחום הזה של עיתונות. יש לי ניסיון בו. אני מכיר אותו. אני עזבתי אותו בצורה הרבה יותר חדה ממך. אני רוצה להבין מה הוא הפן העמוק יותר בעיתונות שמושך אותך, אישית?
פרופ' מודריק: אז אני אתחיל דווקא בפן הלא עמוק בתור התחלה. זה פשוט נורא כיף. אתה יושב מול מיקרופון, ואתה מדבר ומראיין כל מיני אנשים מעניינים. וזה גם, בניגוד לאקדמיה, היחס מאמץ-תגמול הוא פשוט הפוך. אז לא צריך לעשות, אין פה שום מאמץ. אתה בא, מדבר חצי שעה, צוחק צוחק או לא יודעת מה, והולך הביתה, מקבל המון תגובות והמון פרגון. קודם כול זה כיף. זה פשוט כיף. לאגו גם זה כיף. זה כיף. אני לא אתכחש לזה.
פרופ' דודאי: רק נסביר שמי שעובד קשות על מאמרים ומפרסם אותם, אם הוא זוכה למספר זעום של תגובות רציניות, זה הופך אותו/אותה, למאושרים בצורה בלתי רגילה.
פרופ' מודריק: כן. מצד שני, אתה יודע, חלילה וחס, הרגעי אושר, ואני ממש משתמשת במילה הזאת, שפתאום מגיע רעיון חדש, או אתה רואה דאטה שלא ראית, או מנתח תוצאות, או מנסה לחשוב על הסבר, זה סוג אחר לגמרי של תגמול, ולא הייתי מחליפה אותו בחיים. אבל בעבודה הרדיופונית יש את הכיף הזה. אבל מעבר לזה, באמת בגלי צה"ל, עד היום, היום אני עושה שם את "האוניברסיטה המשודרת" בעצמי, את אותה תוכנית שנהגתי להאזין לה, זה...
פרופ' דודאי: זכיתי עוד לדבר בה עם תרצה יובל זיכרונה לברכה.
פרופ' מודריק: בהחלט. זה, המפעל הזה ממש רשום על שמה. ופה, צריך להגיד תודה על זה שיש תחנת שידור ציבורית שלוקחת על עצמה, בין השאר, את התפקיד הזה של להנגיש ידע לציבור.
ואני עכשיו במקרה בימים האלה מקליטה סמסטר של "האוניברסיטה המשודרת" על משבר האקלים וההתחממות הגלובלית. אני משוחחת עם אנשים משלל תחומי ידע, ממדעי האקלים ודרך משפטים ודרך מדעי המזון וכך הלאה. אז זה מספק קודם כל את הסקרנות שלי עצמי, אבל זה גם משחק לתוך התפקיד הזה. אני לא רוצה להגיד את המילה 'שליחות', כי היא עושה לנו צמרמורת, נכון? אבל, אני חושבת שיש לי, ניתנה לי הזכות להנגיש לאנשים רעיונות מורכבים בצורה יחסית פשוטה ולשמש ככלי שעושה את החיבור בין...
פרופ' דודאי: כמתווך.
פרופ' מודריק: כמתווכת.
פרופ' דודאי: כן.
פרופ' מודריק: כל עוד יתנו לי לעשות את זה, אני אהיה שם.
פרופ' דודאי: יש נקודה נוספת שאני מבקש להוסיף פה. הרבה פעמים, העיסוק במדע הוא עיסוק שסוגר אותנו מבחינת המגע עם העולם. אני צריך להסביר את זה כדי שאנשים לא יחשבו שאנחנו מנותקים.
אנחנו עוסקים במדע עם עצמנו, עם הקבוצה שלנו ועם קהיליה מדעית, אבל הרבה פעמים אנחנו יכולים לעסוק בו ללא קשר, ללא מגע עם העולם היומיומי. בעיתונות יש איזשהו מגע עם דופק העולם, שבסוג מסוים של עיתונות הוא, הוא ממש בלתי אמצעי. האם זה משהו שמושך אותך או שזה לא סוג העיתונות שאת מעוניינת בו?
פרופ' מודריק: תראה, אני כבר לא כל כך עושה עיתונות היום. אני כבר לא עושה חדשות. על אף שאני כן רואה בזה דרך טובה מאוד להשפיע בתחומים שחשובים לי. למשל, בתור חברה באקדמיה הצעירה יש כל מיני דברים שאנחנו מנסים לקדם, אחד מהם הוא שינוי שפת הבחינות. אני חושבת שאתה מכיר את זה.
פרופ' דודאי: כמעט אמרת שפת הבכיות.
פרופ' מודריק: (צוחקת) אז אנחנו יודעים שעדיין בישראל היום מאיזושהי סיבה בחינות הבגרות מנוסחות בלשון זכר. כתוב, פתור, נמק, חשב וכך הלאה. ויש מחקרים שמראים שזה, כשמשנים את זה ללשון שהיא ניטרלית מבחינה מגדרית, כמו פתרו, חישבו, נמקו, נכון שזה עדיין זכר, אבל היום כמעט אף אחד לא משתמש ברבים נקבה, כמו 'פתורנה', 'חשובנה' – אז ציונים עולים.
זה די מדהים אגב שהמחקר הזה, נכון אבל, הוא נכון, התפרסם לא מזמן ואחד דרך אגב בעיתונים של Nature, מקבוצת Nature, של תמר קריכלי, וטלי רגב, ומה שאנחנו רואים זה שיש פה שינוי שהוא קטן ואפשר לעשות אותו, הוא לא עולה לנו כסף, ויכול להיות שהוא יצמצם את הפער בין גברים לבין נשים. ויותר מזה גם אם הוא לא יצמצם את הפער, לא יגרום לתלמידות להרגיש שלא מדברים אליהן.
אז אני יכולה לשבת פה במשרד, לדבר על זה מהיום עד מחר, אבל יחד עם האקדמיה הצעירה, יחד עם גלי צה"ל, יש לי כוח יותר גדול לנסות להוציא את הפרויקט הזה מן הכוח אל הפועל, ואני מקווה שעוד נצליח. באוניברסיטאות ובמכללות זה כבר עבר כהנחיה, אני מקווה שגם משרד החינוך יאמץ את זה. אז לזה יש גם יתרון נוסף, ביכולת להשפיע.
פרופ' דודאי: ברור.
אנחנו מתקרבים לקראת סיום, אם כי אני הייתי שמח להמשיך כך שעות, אבל אנחנו נמצא את ההזדמנות להיכנס לעומק לחלק אחר מן השאלות. ואני מבקש לגעת רק עוד בשתי נקודות, שונות מאוד זו מזו.
אחת היא די טריוויאלית בהצגתה, והיא: האם בשלב הזה של הקריירה האקדמית המרשימה שלך, את חשה שיש משהו שהיית שמחה ללמוד ולא למדת? איזשהו תחום שהיה מעניק לך יתר יכולות?
במילים אחרות, זו גם מעין עצה, אולי, לאנשים שחושבים ללכת לתחום המופלא הזה, שעתידו לפניו, מה כדאי ללמוד כדי שלא נפספס?
פרופ' מודריק: אז אני לא יודעת אם צריך ללמוד את זה כמקצוע, אבל אני מאוד מצטערת שלא הקדשתי יותר זמן ללימודי תכנות ומדעי המחשב. אני אגיד לך יותר מזה, אני במשך שנים, ממש התנערתי מזה. המנחה שלי, המנחים שלי היו ליאון דעואל ודומיניק לאמי. ליאון כל הזמן אמר לי, 'את חייבת ללמוד לתכנת', 'את חייבת ללמוד לתכנת'. ואני אמרתי, אין לי זמן, אני לא יכולה להשקיע בזה עכשיו, אני לא רוצה להיכנס לזה, ואז הגעתי לפוסט. את הדוקטורט צלחתי בלי זה. ואז הגעתי לפוסט.
פרופ' דודאי: אגב, עשית שניים, יש לך שני דוקטורטים.
פרופ' מודריק: נכון. בפילוסופיה לא היה צריך לתכנת, ובמדעי המוח הקוגניטיבי, או פסיכולוגיה קוגניטיבית, כן היה צריך…
פרופ' דודאי: זו הזדמנות כמעט אחרונה לשאול מה היו הנושאים של הדוקטורט שלך בשני התחומים.
פרופ' מודריק: אז בפילוסופיה, השאלה, יש לזה שם מאוד מפוצץ, אבל בעצם זה אומר, האם מדעי המוח מניחים מטריאליזם או פיזיקליזם, או שאתה יכול להיות דואליסט ועדיין לחקור את המוח.
והדוקטורט בפסיכולוגיה קוגניטיבית היה, מה התפקיד של המודעות והקשב בזיהוי חריגות קונטקסטואליות. זאת אומרת, במצבים שמְפֵרִים את הציפיות שלנו לגבי איך העולם צריך להיראות.
פרופ' דודאי: אז שני הדוקטורטים, למעשה יש להם טביעת אצבע במה שאת עושה היום.
פרופ' מודריק: נכון. וכשהגעתי לפוסט, אז אף אחד כבר לא היה שם כדי לתכנת לי. ואז ישבתי שלושה שבועות ולימדתי את עצמי לתכנת. והיום אני יודעת ואני גם נהנית מזה מאוד.
אבל לו היה לי את הידע החישובי, שמאפשר לעשות מודלים חישוביים ו-computational neuroscience, אני חושבת שזה היה יכול מאוד לחזק אותי. אז אם הייתי יכולה לחזור בזמן, הייתי אומרת לעצמי אז כשהייתי בחנות ממתקים, קחי גם כמה קורסים ממדעי המחשב כדי לשפר את היכולות החישוביות שלי.
פרופ' דודאי: ליעד, שאלה אחרונה שהיא לא ממש שאלה, היא יותר, הייתי אומר, זה איזשהו ניסיון תחזית פרטית וזה לא שאפשר לצפות ממנה לתשובה חדה.
בואי נניח עוד ארבעים שנה, נניח סצנריו כזה, שסביבת האדם תהיה גדושה במערכות של תובנה מלאכותית, שהן מוכשרות מאוד, מה יישאר לאדם שישאיר אותו כבן אנוש? מה יהיה ייחודו? אנחנו מבחינת האבולוציה התפתחנו, ככה אנחנו מניחים, כבעל חיים תחרותי מאוד. זה מה שהביא אותנו עד הלום, לפעמים זה באמת "עד הלום" ואנחנו סובלים מזה. אבל תחרות בדברים האלה תהיה אבודה. המערכות האלה תוכלנה לעשות זה הרבה יותר טוב מאיתנו וכל מי שאומר שהוא יוכל להכניס סוויצ'ים לאבטחה וכדומה וכדומה, מערכת חכמה בטח יהיה לה איזה סוויץ' שיכול לעבור על הסוויץ' של האבטחה. לא ניכנס לזה כאן. אז מה יישאר 'אנושי' מבחינתך?
פרופ' מודריק: הלכת על שאלה קלה לסיום, אני מבינה. תראה, זה מצחיק, התגובה הראשונית, האינסטינקט שלי היה להגיד לך השוקולד. עכשיו, למה השוקולד? כי, אני לא יודעת...
פרופ' דודאי: השוקולד כמטפורה.
פרופ' מודריק: בדיוק, אני נוטה להאמין שהמערכות האלה יהיו מאוד-מאוד אינטליגנטיות, אבל אני לא יודעת אם תהיה להן מודעות תפיסתית כמו שיש לנו. אני נוטה להאמין שלא תהיה להן. שהן לא יחושו בטעם של השוקולד ולא בכחול של השמיים וזה.
ולמה זה ייתן לנו את היתרון, איזשהו יתרון לדבר הזה? כי אני חושבת שבהרבה מאוד מובנים, הטעם של השוקולד, כמטפורה, זה מה שמניע אותנו הלאה. זאת אומרת, אנחנו יצורים שאוהבים לחוש ואוהבים כמובן לחשוב, כמובן להמציא, אבל אנחנו אוהבים לחשוב ולהמציא בין השאר בגלל התחושה שזה נותן לנו. זאת אומרת, זה יוצר אצלנו חוויה. והחוויה הזאת היא, כרגע לפחות, מה שמבחין בינינו לבין מערכות של AI, אינטליגנציה מלאכותית, ואני נוטה להאמין שזה יישאר לאורך זמן. אז אני מקווה שזה מקנה יתרון מספיק משמעותי, כדי שנוכל להישאר פה בסביבה גם בעוד 40 שנה וגם בעוד 40 אלף שנה. אבל אנחנו כבר… אנחנו כבר לא נהיה כאן כדי לדעת את זה.
פרופ' דודאי: הנה תשובתך סוגרת את המעגל.
התחלנו בשיחה די מהר בנושא של איך מסבירים תודעה, ונגענו בנקודה של "החוויה". האם אנחנו באמת נסביר את ה… זה שאנחנו נוכל להסביר מבחוץ ונוכל להסביר מכניזם וכדומה זה בסדר, זה אני חושב מקובל על כולנו. אבל נשארנו בנושא של החוויה, שייתכן שאת החוויה, או ייתכן מאוד, אגב אני מאמין שזה בלתי אפשרי יהיה לתרגם, למשהו אחר, מחוץ לחוויה. חוויה תתורגם לחוויה. אבל אני מאמין אמרתי. מדען אומר מאמין, פירושו שהוא נוקט בשפה שיש בה מעט דאטה והרבה אמונה.
אז יכול מאוד להיות שבאמת מה שיישאר זה אנחנו נוכל להימנע מלעשות המון המון דברים, אבל אנחנו נהיה החוויה של עצמנו. וזה אומר הרבה מבחינתי, מבחינת מבט פנימה, במקום מבט החוצה, מבחינת העובדה של קיום בהווה, לעומת כל הזמן מחשבות על מה יהיה בעתיד. לאו דווקא כי העתיד יהיה גם הווה מתמשך. אבל אלה כבר מחשבות פילוסופיות, שזה מחזיר אותי לאחד משני הדוקטורטים שלך.
אז כמו תמיד, ליעד, זה עונג אדיר לשוחח איתך. ואני מקווה שעוררנו בכמה, בשומעים אחדים את הרצון, הן להיכנס לחוויה של העיסוק בנושאים שאת עוסקת בהם, וללמוד מניסיונך.
המון תודה.
פרופ' מודריק: תודה רבה לך, תודה.
לעוד פרקים של הפודקאסט לחצו על שם הפודקאסט למטה
Comments