Machine Learning Engineer (m/w/d) - Foundation Models

WeSort ist ein Hightech-Start-up aus Würzburg, das KI-basierte Recyclinglösungen entwickelt und damit einen wichtigen Beitrag zur Kreislaufwirtschaft kritischer Rohstoffe (Critical Raw Materials) leistet. Unsere Systeme sind bereits im industriellen Einsatz, unter anderem bei Schwarz/Lidl bzw. deren Umweltdienstleister PreZero. Unsere Technologie wurde mehrfach ausgezeichnet, unter anderem mit dem Deutschen Gründerpreis (verliehen von Porsche und ZDF), und WeSort ist Teil des SprinD-Programms (Agentur für Sprunginnovationen). Darüber hinaus war unser Team mit seiner Arbeit bereits in Formaten wie Galileo, ZDF WISO, der WirtschaftsWoche und der Süddeutschen Zeitung vertreten. Für den nächsten großen Schritt suchen wir einen talentierten Machine Learning Engineer (m/w/d) mit Schwerpunkt Computer Vision und Foundation Models, der/die mit uns ein eigenes „Waste Foundation Model" auf Basis modernster Architekturen wie DINOv2, SigLIP oder EVA-02 aufbaut – die technologische Grundlage, auf der alle unsere zukünftigen Computer-Vision-Anwendungen aufsetzen werden. Wir betreiben heute eine der größten kontinuierlich wachsenden Datenbasen gelabelter Abfallbilder weltweit – aus realen Sortieranlagen, über mehrere Stoffströme, Lichtverhältnisse und Verschmutzungsgrade hinweg. Diese Daten sind unser strategischer Vorteil. Daraus wollen wir ein domänen-adaptiertes Vision Foundation Model entwickeln, das als Backbone für sämtliche Downstream-Tasks (Detection, Klassifikation, Anomalie-Erkennung, Few-Shot-Learning) dient. KI-Trainings entwickeln wir in Python (PyTorch), unsere Backend-Plattform in Rust. Bereich: Software, Data & Artificial Intelligence Arbeitsort: Office-based in Würzburg Vertragsart: Festanstellung in Vollzeit Start: ab sofort Aufgaben Das ist deine neue Leidenschaft: Du entwickelst und trainierst unsere domänenspezifischen Vision-Modelle auf Basis aktueller State-of-the-Art-Architekturen und nutzt unsere Abfallbild-Datenbasis für Pretraining und Continued Pretraining Du gestaltest unsere komplette ML-Trainings-Pipeline: von der Datenaufbereitung über verteiltes Training (PyTorch FSDP/DDP, Mixed Precision) bis zur Modell-Versionierung Du baust und pflegst unsere Eval Suite – die zentrale Infrastruktur, die misst, ob unsere Modelle wirklich besser werden: Linear Probing, k-NN-Probing, Few-Shot-Detection, Cross-Domain-Generalization, Anomalie-Detection Du finetunst und destillierst unsere Modelle für konkrete Downstream-Tasks und Edge-Hardware (Sortieranlagen, GPU-Inferenz) Du analysierst Trainings-Runs systematisch, identifizierst Probleme wie Feature Collapse oder Domain Shift und entwickelst nachhaltige Lösungen statt kurzfristiger Workarounds Du arbeitest eng mit dem Cloud-Backend-Team zusammen, um Modelle effizient ins Deployment zu bringen (ONNX, TensorRT, OpenVINO) Du verfolgst aktiv die Forschungsentwicklung im Bereich Computer Vision und übersetzt relevante Paper in produktive Lösungen Du denkst über das Modell hinaus und hast im Blick, wie deine Arbeit im realen Betrieb wirkt – für Sortieranlagen, Kunden und das Gesamtsystem Qualifikation Damit begeisterst du uns: Du bringst mehrjährige Erfahrung in der Entwicklung und im Trainin