הפרויקט שלנו עוסק בניתוח נתונים ויזואליים בעזרת רשתות נוירונים. הוא בעל שני פרקים שאינם קשורים זה בזה. בפרק הראשון ביצענו זיהוי של הפרעות נוירולוגיות במוח, על-ידי סגמנטציה של תמונה, במסגרת תחרות Kaggle. בפרק השני נטלנו חלק במחקר בתחום של זיהוי תווים אופטי (Optic Character Recognition – OCR).

1. אימנו רשת Detectron2 על מנת לחזות תאים חולניים במוח. מאגר המידע שלנו היה תצלומי מוח שבחלקם מופיעות הפרעות נוירולוגיות מ-5 סוגים, אותם התבקשנו לאבחן. (בצד שמאל באיור)

2. המחקר מבקש לענות על השאלה: האם ניתן לייעל רשתות OCR קיימות לשם ביצוע דיגיטליזציה של כתב-יד תוך התחשבות ברעשים?

הרשתות יידעו לזהות מילים הכתובות בכתב-יד תוך התחשבות ברעשים - דיו שנמרח, מילים שמשתקפות מהדף שמאחור, מחיקות, קרעים וקפלים. התפקיד שלנו הוא להרחיב את מאגר המידע על-ידי אוגמנטציות לינאריות ולא לינאריות, ויצירת מילון אותיות.
אוגמנטציות לינאריות ביצענו בשינויים קוסמטיים של התמונות מהמאגר הקיים: החלפנו רקעים, שינינו צבעים, מתחנו וכיווצנו, עשינו הקרנות ושינוי זוויות (בצד ימין למעלה באיור). אוגמנטציות לא לינאריות ביצענו על-ידי שימוש ברשת עמוקה בשם ScrabbleGAN שמפיקה כתב-יד ממוחשב, זאת עשינו על בסיס כתבי-היד הנתונים במאגר – IAM, CVL (בצד ימין למטה באיור). בנוסף נבחן את האפשרות של יצירת מילים חדשות, זאת בכך שניצור מאגר מידע חדש שמבוסס על אותיות ולא על מילים.