Stud. Hilfskraft (m/w/d)- Multi-Modal Sensor Fusion, Object Detection in Clutter and Object Tracking

Die Fraunhofer-Gesellschaft (www.fraunhofer.de) betreibt in Deutschland derzeit 76 Institute und Forschungseinrichtungen und ist eine der führenden Organisationen für anwendungsorientierte Forschung. Rund 32 000 Mitarbeitende erarbeiten das jährliche Forschungsvolumen von 3,4 Milliarden Euro.

Advertisement for the field of study such as: Automation technology, cybernetics, aerospace engineering, mechanical engineering, mechatronics, physics, control engineering, software engineering, computer science, robotics or comparable.

Reliable and precise perception is essential for robot-based bin picking and assembly, especially for bulk goods and object manipulation with robotic hands. The focus here is robust multi-camera fusion, accurate object detection in cluttered scenes (bulk goods), and multi-modal tracking that combines camera data with tactile feedback. Using deep learning, multi-view geometry, and simulation via digital twins, the goal is a real-time, deployable perception stack for an industrial robot arm using a robotic hand as an end effector.

Was Sie bei uns tun

Literature Review: Survey multi-camera sensor fusion, object detection under heavy clutter/occlusion, and multi-modal (vision + tactile) tracking in robotics and manufacturing.
Framework Development: Set up the digital twin in Isaac Sim; build scene generators for clutter, occlusions, and varying lighting/reflectivity. Specify dataset strategy (augmentation/domain randomization) and an automated evaluation pipeline. Calibrate and time-synchronize multi-camera systems with tactile sensors; define data schemas and ROS 2/Isaac ROS interfaces.
Algorithm Implementation: Develop multi-camera fusion for 3D localization (triangulation, multi-view association) using e.g. EKF/UKF. Build multi-modal tracking that fuses object tracking with tactile signals. Optimize for real time (TensorRT, pruning/quantization). Implement robustness strategies for occlusions, small/reflective objects, and provide uncertainty estimates.
Simulation and Testing: Generate diverse scenarios in Isaac Sim with domain randomization; Evaluate calibration error, FPS/latency, and resource usage. Run ablations on fusion strategies, number/placement of cameras, and tactile on/off; study sim-to-real transfer.

Was Sie mitbringen

enrolled student
High motivation and initiative
Very good English language skills
Experience with Isaac Sim / Lab
Experience in computer vision and deep learning is an advantage
Independent, responsible, and structured working style

Was Sie erwarten können

Pleasant working atmosphere
interesting and industry-relevant tasks
dynamic, interdisciplinary team
Insights into the future topic of automation
Good technical equipment

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Haben wir Ihr Interesse geweckt? Dann bewerben Sie sich jetzt online mit Ihren aussagekräftigen Bewerbungsunterlagen. Wir freuen uns darauf, Sie kennenzulernen!

Frau Jennifer Leppich

Recruiting

+49 711 970-1415

jennifer.leppich@ipa.fraunhofer.de

Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA

www.ipa.fraunhofer.de

Kennziffer: 81682 Bewerbungsfrist:

Stellensegment: Test Engineer, Testing, Aerospace Engineering, Controls Engineer, Computer Science, Engineering, Technology

Jetzt bewerben »