It is necessary to ensure that the deployed autonomous driving systems are as robust, reliable, and safe as possible. Most research today is focused on onboard vehicle autonomous driving. This approach inherently is weak against occlusion. Cooperative driving, combining vehicle and infrastructure sensors, alleviates this weakness. Camera-LiDAR fusion is used to cover the weaknesses of each sensor modality. However, this increases the amount of data that needs to be processed. As such, it is necessary to find a fusion method that provides the best trade-off between accuracy and speed. Motivated by this, this work proposes a deep, cooperative, camera-LiDAR fusion method in a unified bird’s eye view perspective for 3D object detection. A new TUMTraf Cooperative Dataset was also created. This proposed deep cooperative multi-modal method provides the best performance over any other combination that doesn’t use all cameras and LiDARs on both the vehicle and infrastructure for the TUMTraf Cooperative Dataset. The proposed method is also proven to be better in infrastructure-only, camera-LiDAR fusion mode than the InfraDet3D method for the TUMTraf Intersection Dataset. Finally, this work provides recommendations to improve the proposed method further in the future.     «

It is necessary to ensure that the deployed autonomous driving systems are as robust, reliable, and safe as possible. Most research today is focused on onboard vehicle autonomous driving. This approach inherently is weak against occlusion. Cooperative driving, combining vehicle and infrastructure sensors, alleviates this weakness. Camera-LiDAR fusion is used to cover the weaknesses of each sensor modality. However, this increases the amount of data that needs to be processed. As such, it is nece...     »

Es muss sichergestellt werden, dass die eingesetzten autonomen Fahrsysteme so robust, zuverlässig und sicher wie möglich sind. Die meisten Forschungsarbeiten konzentrieren sich heute auf das autonome Fahren im Fahrzeug. Dieser Ansatz ist von Natur aus schwach gegenüber Verdeckungen. Kooperatives Fahren, bei dem Fahrzeug- und Infrastruktursensoren kombiniert werden, mildert diese Schwäche. Die Kamera-LiDAR-Fusion wird eingesetzt, um die Schwächen der einzelnen Sensormodalitäten auszugleichen. Dies erhöht jedoch die zu verarbeitende Datenmenge. Daher ist es notwendig, eine Fusionsmethode zu finden, die den besten Kompromiss zwischen Genauigkeit und Geschwindigkeit bietet. Aus diesem Grund wird in dieser Arbeit eine tiefe, kooperative Kamera-LiDAR-Fusionsmethode in einer einheitlichen Vogelperspektive zur 3D-Objekterkennung vorgeschlagen. Außerdem wurde ein neuer TUMTraf Cooperative Dataset erstellt. Die vorgeschlagene kooperative multimodale Methode bietet die beste Leistung im Vergleich zu allen anderen Kombinationen, die nicht alle Kameras und LiDARs sowohl am Fahrzeug als auch an der Infrastruktur verwenden, für den TUMTraf Cooperative Dataset. Die vorgeschlagene Methode erweist sich auch im reinen Infrastruktur-, Kamera-LiDAR-Fusionsmodus als besser als die InfraDet3DMethode für den TUMTraf-Kreuzungsdatensatz. Schließlich gibt diese Arbeit Empfehlungen zur weiteren Verbesserung der vorgeschlagenen Methode in der Zukunft.     «

Es muss sichergestellt werden, dass die eingesetzten autonomen Fahrsysteme so robust, zuverlässig und sicher wie möglich sind. Die meisten Forschungsarbeiten konzentrieren sich heute auf das autonome Fahren im Fahrzeug. Dieser Ansatz ist von Natur aus schwach gegenüber Verdeckungen. Kooperatives Fahren, bei dem Fahrzeug- und Infrastruktursensoren kombiniert werden, mildert diese Schwäche. Die Kamera-LiDAR-Fusion wird eingesetzt, um die Schwächen der einzelnen Sensormodalitäten auszugleichen. Die...     »