Scene understanding and communication are two fundamental goals for intelligent agents. In this dissertation, we aim to understand the scene by estimating geometry, semantics and points of interest from single images using deep learning models. We also demonstrate the potential of learning in a hybrid SLAM system. We then discuss problems at the intersection of vision and language. We generate scene descriptions without training pairs of images and captions and enable user-agent interaction in natural language.     «

Scene understanding and communication are two fundamental goals for intelligent agents. In this dissertation, we aim to understand the scene by estimating geometry, semantics and points of interest from single images using deep learning models. We also demonstrate the potential of learning in a hybrid SLAM system. We then discuss problems at the intersection of vision and language. We generate scene descriptions without training pairs of images and captions and enable user-agent interaction in n...     »

Szenenverständnis und Kommunikation sind zwei grundlegende Ziele für intelligente Agenten. In dieser Dissertation versuchen wir, die Szene zu verstehen, indem wir die Geometrie und Semantik aus Einzelbildern mit Hilfe von Deep Learning vorhersagen. Außerdem demonstrieren wir ein hybrides SLAM-System. Anschließend diskutieren wir Probleme am Schnittpunkt von Bildverstehen und Sprache. Wir lernen Szenen zu beschreiben und ermöglichen die Interaktion zwischen Benutzer und Agent in natürlicher Sprache.     «

Szenenverständnis und Kommunikation sind zwei grundlegende Ziele für intelligente Agenten. In dieser Dissertation versuchen wir, die Szene zu verstehen, indem wir die Geometrie und Semantik aus Einzelbildern mit Hilfe von Deep Learning vorhersagen. Außerdem demonstrieren wir ein hybrides SLAM-System. Anschließend diskutieren wir Probleme am Schnittpunkt von Bildverstehen und Sprache. Wir lernen Szenen zu beschreiben und ermöglichen die Interaktion zwischen Benutzer und Agent in natürlicher Sprac...     »