We devise novel representation learning methods for dealing with graph-structured and multi-modal data. We adopt a variational approach for jointly learning the node representation and community detection in graphs. We also adopt a variational graph based approach for the compositional zero-shot learning (CZSL) problem. An interesting application of CZSL is retrieving images from a database based on a multi-modal (image-text) query.
Übersetzte Kurzfassung:
Wir entwickeln neuartige Repräsentationslernmethoden für den Umgang mit graphenstrukturierten und multimodalen Daten.Wir verwenden einen variationalen Ansatz für das gemeinsame Lernen der Knotenrepräsentation und Gemeinschaftserkennung in Graphen. Wir verwenden auch variationalen, auf Graphen basierenden Ansatz für das Compositional Zero Shot Learning (CZSL) Problem. Eine interessante Anwendung von CZSL ist das Abrufen von Bildern aus Datenbank auf der Grundlage einer multimodalen Abfrage.