Master Thesis - Vision Foundation Models for automated point cloud

Announcement for fields of study such as: Automation technology, computer science, control engineering, software engineering, technical computer science or comparable.

In the Professional Service Robots - Outdoor research group we develop autonomous, mobile robots for a variety of outdoor applications, such as agriculture, forestry and logistics. The focus is on the development of an autonomous outdoor navigation solution as well as the hardware of the robots.

Recently, advances in LiDAR scan registration have been demonstrated by using Vision Foundation Models such as DINOv2 to generate point descriptors mapped from camera images. This type of pointcloud annotation is expected to especially benefit creation and maintenance of long-term maps, which contain only static features of the environment. Combined with previous works in dynamic object detection and removal, an automated pipeline for creating such maps will be developed, which we expect to be of great benefit to real-time localization in changing environments.

Was Sie bei uns tun

In this thesis you will explore the use of vision foundation models within robot localization. Specifically, you will utilize DINOv2 (or similar) features to enable efficient map cleanup, which might be self-learning by utilizing an online dynamic object removal/detection technique. The usability of such a map as reference for real-time robot localization will then be evaluated.

Was Sie mitbringen

Enrolled student

Background in Computer Science, Software Engineering, Electrical Engineering, Autonomous Systems or similar

Knowledge of C++/Python

Experience with ROS, computer vision, pointcloud-processing or machine learning is a plus

Analytical mindset and experience in algorithm development

Enthusiasm for mobile robotics

Fluent in English or German

Was Sie erwarten können

Cutting-edge technology in the field of outdoor mobile robotics

Hands on with our robots on our own test environments in Stuttgart

take on responsibility and freedom to implement your own ideas

Work with the best students in their discipline

Familiar atmosphere including Cake Thursday

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Haben wir Ihr Interesse geweckt? Dann bewerben Sie sich jetzt online mit Ihren aussagekräftigen Bewerbungsunterlagen. Wir freuen uns darauf, Sie kennenzulernen!

Frau Jennifer Leppich

Recruiting

Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA

Kennziffer: 81348