Abstract:
Geometric machine learning is a subfield of machine learning that aims to unify our understanding of models that respect the symmetries of structured data such as graphs and point clouds. We ask whether such models are complete, that is, able to separate every pair of inputs that are not equivalent under these symmetries. For point clouds, we formulate complete geometric variants of the Weisfeiler-Leman (WL) graph-isomorphism tests and construct a continuous point-cloud network that provably separates all point clouds up to permutations and rigid motions. We further introduce WeLNet, an architecture that universally approximates all continuous functions equivariant to permutations, rotations, and translations, runs in at most cubic time, and attains state-of-the-art results on N-body dynamics prediction. For graphs, we prove that spectral graph neural networks, and in fact the entire WL hierarchy, are incomplete on graphs with a simple spectrum, a class on which isomorphism is decidable in cubic time. As a remedy, we introduce PRiSM, the first provably complete canonicalization of simple spectrum eigendecompositions, which yields universal approximation on this class and outperforms existing canonicalizations on molecular benchmarks.
תקציר בעברית:
למידת מכונה גיאומטרית הוא תחום העוסק במודלים המכבדים את הסימטריות של נתונים בעלי מבנה גיאומטרי, כגון גרפים ועננֵי נקודות. אנו שואלים האם מודלים כאלה הם שלמים, כלומר האם ביכולתם להפריד בין כל שני קלטים שאינם שקולים תחת סימטריות אלה. עבור ענני נקודות, אנו מנסחים גרסאות גיאומטריות שלמות של מבחני האיזומורפיזם של ויספיילר-לימן ובונים רשת רציפה לענני נקודות המפרידה באופן מוכח בין כל זוג ענני נקודות עד כדי תמורות ופעולות אוקלידאות (סיבוב, שיקוף והזזה). בנוסף, אנו מציגים את WeLNet, ארכיטקטורה המקרבת באופן אוניברסלי כל פונקציה רציפה שהיא אקוויווריאנטית לתמורות, לסיבובים ולהזזות, פועלת בזמן ריצה קובי לכל היותר, ומשיגה תוצאות שיא בחיזוי דינמיקה של N גופים. עבור גרפים, אנו מוכיחים שרשתות נוירונים גרפיות ספקטרליות, ולמעשה היררכיית ויספיילר-לימן כולה, אינן שלמות על גרפים בעלי ספקטרום פשוט, מחלקה שעבורה ניתן להכריע איזומורפיזם בזמן התלוי במספר הקודקודים בגרף בחזקת שלוש. כתיקון, אנו מציגים את PRiSM, הקנוניזציה הראשונה של פירוקים ספקטרליים בעלי ספקטרום פשוט, המובילה לקירוב אוניברסלי על מחלקה זו ועולה בביצועיה על קנוניזציות קיימות במטלות שונות על דטא מולקולרי.
Advisor: Dr. Nadav Dym