Vision Transformers are highly popular in Computer Vision these days. There are numerous methods that utilize Vision Transformers and integrate them into Deep Learning architectures in order to semantically segment medical images. However, we are of the opinion that those models are trained in a way that is not ideal. Most of the work train Deep Learning models incorporating Transformer elements like a fully convolutional neural network. It is well-known in Natural Language Processing that the way-to-go training method for Transformers is through Self-Supervised Learning. Instead of creating our own attention-based segmentation architecture, we are eager to utilize features stemming from a Vision Transformer and integrate those complex features into a simple segmentation architecture. This work presents two novel semantic segmentation Deep Learning models: U-Net Attention and Y-Nets with different Skip-Connection configurations. Both architectures utilize attention visualizations i.e. the last self-attention values of a ViT-S/16 pre-trained on ImageNet and fine-tuned with DINO in a self-supervised fashion. We show that our Y-Net delivers state-of-the-art results outperforming related work on two medical data sets. Especially, our Y-Net is able to deliver outstanding results segmenting fine-grained structures, structures with holes, and labels far away from the structures’ centroid. Furthermore, we also report that a well-configured U-Net can yield better results than recent Transformer-based architectures. Besides the experiments on medical data, we also create four artificial data sets and conduct experiments based on those. We see that U-Net Attention is to a certain extent robust to rotations, and thus recognizes shapes better than an U-Net. We also infer from our experiments on artificial data, that our models—especially our Y-Nets—are able to yield faster convergence in comparison to an U-Net and can confirm those findings with experiments conducted on medical data.     «

Vision Transformers are highly popular in Computer Vision these days. There are numerous methods that utilize Vision Transformers and integrate them into Deep Learning architectures in order to semantically segment medical images. However, we are of the opinion that those models are trained in a way that is not ideal. Most of the work train Deep Learning models incorporating Transformer elements like a fully convolutional neural network. It is well-known in Natural Language Processing that the w...     »

Vision Transformers sind im Bereich der Computer Vision heutzutage sehr beliebt. Es gibt zahlreiche Methoden, die Vision Transformers nutzen und sie in Deep-Learning-Architekturen integrieren, um medizinische Bilder semantisch zu segmentieren. Wir sind jedoch der Meinung, dass diese Modelle nicht ideal trainiert sind. Die meisten Arbeiten trainieren Deep-Learning-Modelle, die Transformer-Elemente enthalten, wie ein herkömmliches vollständiges Convolutional Neural Network. In der natürlichen Sprachverarbeitung ist bekannt, dass die beste Trainingsmethode für Transformers das selbstüberwachte Lernen ist. Anstatt eine eigene, Attention-basierte Segmentierungsarchitektur zu entwickeln, möchten wir Ausgaben eines Vision Transformers nutzen und diese komplexen Merkmale in eine einfache Segmentierungsarchitektur integrieren. In dieser Arbeit werden zwei neuartige Deep-Learning-Modelle vorstellen, die im Speziellen auf die semantische Segmentierung medizinischer Bilddaten ausgelegt sind: U-Net Attention und Y-Nets mit unterschiedlichen Skip-Connection-Konfigurationen. Beide Architekturen nutzen Visualisierungen von Attention-Werten, d. h. die letzten Self-Attention-Werte eines ViT-S/16, welches auf ImageNet vortrainiert und mit DINO in einer selbstüberwachten Weise fein abgestimmt wurde. Wir zeigen, dass unser Y-Net verwandte Arbeiten in Bezug auf zwei unterschiedlichen medizinischen Datensätzen übertrifft. Insbesondere ist unser Y-Net in der Lage, hervorragende Ergebnisse bei der Segmentierung von feingranularen Strukturen, Strukturen mit Löchern und bei Labels, die weit vom Mittelpunkt der Strukturen entfernt sind, zu liefern. Darüber hinaus berichten wir, dass ein gut konfiguriertes U-Net bessere Ergebnisse liefern kann als aktuelle Transformer-basierte Architekturen. Neben den Experimenten mit medizinischen Daten erstellen wir auch vier künstliche Datensätze und führen Experimente mit diesen durch. Wir sehen, dass U-Net Attention bis zu einem gewissen Grad robust gegenüber Rotationen ist und somit Formen besser erkennt als ein U-Net. Aus unseren Experimenten mit künstlichen Daten schließen wir auch, dass unsere Modelle—insbesondere unsere Y-Nets—im Vergleich zu einem U-Net schneller konvergieren und können diese Ergebnisse mit Experimenten mit der zu Hilfenahme von medizinischen Daten bestätigen.     «

Vision Transformers sind im Bereich der Computer Vision heutzutage sehr beliebt. Es gibt zahlreiche Methoden, die Vision Transformers nutzen und sie in Deep-Learning-Architekturen integrieren, um medizinische Bilder semantisch zu segmentieren. Wir sind jedoch der Meinung, dass diese Modelle nicht ideal trainiert sind. Die meisten Arbeiten trainieren Deep-Learning-Modelle, die Transformer-Elemente enthalten, wie ein herkömmliches vollständiges Convolutional Neural Network. In der natürlichen Spra...     »