top of page

OCR Research

220906
:מספר הפרויקט
אור לוי; עפר פריץ
:שמות הסטודנטים המציגים
ד"ר כהן שראל
:שם המנחה
תכנות תחרותי עם למידה חישובית
:שם הסדנה
:GitHub
פוסטר
מצגת
:תקציר הפרויקט

הפרויקט שלנו עוסק בניתוח נתונים ויזואליים בעזרת רשתות נוירונים. הוא בעל שני פרקים שאינם קשורים זה בזה. בפרק הראשון ביצענו זיהוי של הפרעות נוירולוגיות במוח, על-ידי סגמנטציה של תמונה, במסגרת תחרות Kaggle. בפרק השני נטלנו חלק במחקר בתחום של זיהוי תווים אופטי (Optic Character Recognition – OCR).

1. אימנו רשת Detectron2 על מנת לחזות תאים חולניים במוח. מאגר המידע שלנו היה תצלומי מוח שבחלקם מופיעות הפרעות נוירולוגיות מ-5 סוגים, אותם התבקשנו לאבחן. (בצד שמאל באיור)

2. המחקר מבקש לענות על השאלה: האם ניתן לייעל רשתות OCR קיימות לשם ביצוע דיגיטליזציה של כתב-יד תוך התחשבות ברעשים?

הרשתות יידעו לזהות מילים הכתובות בכתב-יד תוך התחשבות ברעשים - דיו שנמרח, מילים שמשתקפות מהדף שמאחור, מחיקות, קרעים וקפלים. התפקיד שלנו הוא להרחיב את מאגר המידע על-ידי אוגמנטציות לינאריות ולא לינאריות, ויצירת מילון אותיות.
אוגמנטציות לינאריות ביצענו בשינויים קוסמטיים של התמונות מהמאגר הקיים: החלפנו רקעים, שינינו צבעים, מתחנו וכיווצנו, עשינו הקרנות ושינוי זוויות (בצד ימין למעלה באיור). אוגמנטציות לא לינאריות ביצענו על-ידי שימוש ברשת עמוקה בשם ScrabbleGAN שמפיקה כתב-יד ממוחשב, זאת עשינו על בסיס כתבי-היד הנתונים במאגר – IAM, CVL (בצד ימין למטה באיור). בנוסף נבחן את האפשרות של יצירת מילים חדשות, זאת בכך שניצור מאגר מידע חדש שמבוסס על אותיות ולא על מילים.

bottom of page