The utilization of scene graphs for image manipulation represents a highly promising direction in the field of computer vision. However, generating high-quality images from scene graphs can be challenging due to the complexity of the scenes and the high diversity of the objects in datasets such as Visual Genome. To address these challenges, we present a novel Progressive Restoration framework for Scene Graph-based Image Manipulation (PRISM). As a part of PRISM, we've developed and extensively evaluated several novel approaches that individually improve the image manipulation capabilities of the system. Our end-to-end framework leverages image reconstruction through a progressive restoration process, providing additional context information that enables more precise image manipulation. We took advantage of the outer part of the masked to-be-manipulated area as they have a stronger correlation with the context of the scene, and in our end-to-end framework, we designed a progressive denoising process for image reconstruction that continuously decreases the size of the masked region in the image. Moreover, our multi-task architecture simultaneously reconstructs the entire image as well as selected image objects in detail, generating high-quality and detailed images. Our model outperforms the state-of-the-art methods in the semantic image manipulation task on the CLEVR and Visual Genome datasets. Our results demonstrate the potential of our approach for enhancing the quality and precision of scene graph-based image manipulation. Finally, we propose a new research avenue by showcasing the benefits of incorporating progressive generation into diffusion processes.     «

The utilization of scene graphs for image manipulation represents a highly promising direction in the field of computer vision. However, generating high-quality images from scene graphs can be challenging due to the complexity of the scenes and the high diversity of the objects in datasets such as Visual Genome. To address these challenges, we present a novel Progressive Restoration framework for Scene Graph-based Image Manipulation (PRISM). As a part of PRISM, we've developed and extensively ev...     »

Die Verwendung von Szenegraphen für die Bildmanipulation stellt eine vielversprechende Richtung auf dem Gebiet der Computer Vision dar. Die Erzeugung hochwertiger Bilder aus Szenegraphen kann jedoch aufgrund der Komplexität der Szenen und der großen Vielfalt der Objekte in Datensätzen wie Visual Genome eine Herausforderung darstellen. Um diese Herausforderungen zu bewältigen, stellen wir ein neuartiges Verfahren zur progressiven Restaurierung von Szenengraphen vor, das auf Bildmanipulationen basiert (PRISM). Als Teil von PRISM haben wir mehrere neuartige Ansätze entwickelt und ausgiebig evaluiert, die die Bildmanipulationsfähigkeiten des Systems individuell verbessern. Unser End-to-End-Framework nutzt die Bildrekonstruktion durch einen progressiven Wiederherstellungsprozess und liefert zusätzliche Kontextinformationen, die eine präzisere Bildmanipulation ermöglichen. Wir haben uns den äußeren Teil des maskierten, zu manipulierenden Bereichs zunutze gemacht, da dieser eine stärkere Korrelation mit dem Kontext der Szene aufweist. In unserem End-to-End-Framework haben wir einen progressiven Entrauschungsprozess für die Bildrekonstruktion entwickelt, der die Größe des maskierten Bereichs im Bild kontinuierlich verringert. Darüber hinaus rekonstruiert unsere Multi-Task-Architektur gleichzeitig das gesamte Bild sowie ausgewählte Bildobjekte im Detail und erzeugt so qualitativ hochwertige und detaillierte Bilder. Unser Modell übertrifft die State-of-the-Art-Methoden bei der semantischen Bildmanipulation in den CLEVR- und Visual-Genome-Datensätzen. Unsere Ergebnisse zeigen das Potenzial unseres Ansatzes zur Verbesserung der Qualität und Präzision der szenegraphbasierten Bildmanipulation. Schließlich schlagen wir einen neuen Forschungsweg vor, indem wir die Vorteile der Einbeziehung der progressiven Erzeugung in Diffusionsprozesse aufzeigen.     «

Die Verwendung von Szenegraphen für die Bildmanipulation stellt eine vielversprechende Richtung auf dem Gebiet der Computer Vision dar. Die Erzeugung hochwertiger Bilder aus Szenegraphen kann jedoch aufgrund der Komplexität der Szenen und der großen Vielfalt der Objekte in Datensätzen wie Visual Genome eine Herausforderung darstellen. Um diese Herausforderungen zu bewältigen, stellen wir ein neuartiges Verfahren zur progressiven Restaurierung von Szenengraphen vor, das auf Bildmanipulationen bas...     »