כיצד ניתן לתקשר עם אנשים משותקים? אדם שאינו יכול להזיז את ידו או להשמיע קולו, כיצד נוכל להבין מה הוא רוצה ועל מה חושב? בפרויקט זה אנו לוקחים דאטא ניורונלי באמצעות 200 אלקטרודות שהוחדרו למוחם של אנשים משותקים בבתי חולים, ואותם אנשים התבקשו לחשוב על משפטים, ולדמיין כיצד הם כותבים- אות אחר אות - את אותם המשפטים. בפרויקט זה, אנו מעבדים באמצעות רשתות של למידה עמוקה, כגון רשתות קונבולציה CNN את הדאטא הנוירונלי ופותרים בעייה קלסיפקציה שבה אנו מפענחים את האותיות שהאדם המשותק חשב עליהם, ומשחזרים את המשפטים שדמיין. חלק נכבד מהעבודה הינו להבין את מהות הדאטא הנוירונלי, לקרוא ולסדר אותו בפורמט הנכון, ולפתח את הרשתות העמוקות שיעבדו מידע זה. בנוסף, אנו מוכיחים תיאוריה שנטענה ע"י פרופ' אילון ועדיה לפני למעלה מעשור, שלפיה נוירונים שונים יכולים לשתף פעולה על מנת לבצע פעולה חישובית אחת במשך קצר על ידי תבניות אקטיבזציה מתואמות, ולאחר זמן קצר לעבור ולהתאחד עם קבוצות נוירונים אחרות ואיתן לבצע פעולה חישובית אחרת. אנו מבצעים אנליזת GradCam על הפיצ'רים של רשת ה- CNN ומראים את הקבוצות של הנוירונים שמתאחדות לקבוצה לצורך קביעת האות שהאדם מדמיין. כמו כן, אנו מייצרים תמונות PSTH שמציגות בצורה ויזואלית את קורלציות בין הנוירונים במהלך החשיבה על האות, ומראים שניתן רק באמצעות קשרים אלה להבין מה היא האות שהאדם חשב עליה, ובכך מוכיחים את טענתו של פרופ' אילון ועדיה. בנוסף, על מנת להראות הכללה של השיטה שאנו מפתחים, אנו מבצעים אנליזה דומה גם על דאטא של פעילות נוירונלית מהמעבדה של ד"ר גנלה מוריס וג'ורג' קור מאוניברסיטת חיפה ובי"ח שניידר, ומראים שאותן מסקנות תקפות גם על פעילות מוחית של עכבר שמנסה להחליט לאיזה דלת ללכת במבוך.
המחקר בוצע בשיתוף פעולה עם קבוצת מחקר בינלאומית יחד עם: פרופ' אילון ועדיה, ג'ורג' קור, ד"ר גנלה מוריס, ד"ר שראל כהן, וכן קבוצה שחוקרת למידה עמוקה בהקשר של המוח מאוניברסיטת בוסטון ומכללת Dartmouth.