Stud. Hilfskraft (m/w/d) - Obj. Detection in clutter and Obj. Tracking

Advertisement for the field of study such as: Automation technology, cybernetics, aerospace engineering, mechanical engineering, mechatronics, physics, control engineering, software engineering, computer science, robotics or comparable.

Reliable and precise perception is essential for robot-based bin picking and assembly, especially for bulk goods and object manipulation with robotic hands. The focus here is robust multi-camera fusion, accurate object detection in cluttered scenes (bulk goods), and multi-modal tracking that combines camera data with tactile feedback. Using deep learning, multi-view geometry, and simulation via digital twins, the goal is a real-time, deployable perception stack for an industrial robot arm using a robotic hand as an end effector.

The place of work would be in Heilbronn.

Was Sie bei uns tun

Literature Review: Survey multi-camera sensor fusion, object detection under heavy clutter/occlusion, and multi-modal (vision + tactile) tracking in robotics and manufacturing.

Framework Development: Set up the digital twin in Isaac Sim; build scene generators for clutter, occlusions, and varying lighting/reflectivity. Specify dataset strategy (augmentation/domain randomization) and an automated evaluation pipeline. Calibrate and time-synchronize multi-camera systems with tactile sensors; define data schemas and ROS 2/Isaac ROS interfaces.

Algorithm Implementation: Develop multi-camera fusion for 3D localization (triangulation, multi-view association) using e.g. EKF/UKF. Build multi-modal tracking that fuses object tracking with tactile signals. Optimize for real time (TensorRT, pruning/quantization). Implement robustness strategies for occlusions, small/reflective objects, and provide uncertainty estimates.

Simulation and Testing: Generate diverse scenarios in Isaac Sim with domain randomization; Evaluate calibration error, FPS/latency, and resource usage. Run ablations on fusion strategies, number/placement of cameras, and tactile on/off; study sim-to-real transfer.

Was Sie mitbringen

enrolled student at a German university

High motivation and initiative

Very good English language skills

Experience with Isaac Sim / Lab

Experience in computer vision and deep learning is an advantage

Independent, responsible, and structured working style

Was Sie erwarten können

Pleasant working atmosphere

interesting and industry-relevant tasks

dynamic, interdisciplinary team

Insights into the future topic of automation

Good technical equipment

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Haben wir Ihr Interesse geweckt? Dann bewerben Sie sich jetzt online mit Ihren aussagekräftigen Bewerbungsunterlagen. Wir freuen uns darauf, Sie kennenzulernen!

Frau Jennifer Leppich

Recruiting

Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA

Kennziffer: 81682 Bewerbungsfrist: