Role Description Wir suchen aktuell: Remote (Senior) Consultant (m/w/d) Machine Learning & AI (SAP / Microsoft / Databricks) in Gescher. DEINE AUFGABEN: - Gemeinsam mit deinen KollegInnen analysierst du fachliche und technische Anforderungen unserer Kunden und entwickelst innovative Lösungen im Bereich Machine Learning und Artificial Intelligence – insbesondere mit Produkten und Services aus dem SAP- und Microsoft-Technologiestack (z. B. SAP Analytics Cloud, SAP Datasphere, Azure Machine Learning, Azure AI Foundry, SAP Databricks, Azure Databricks). - Als Senior Consultant übernimmst du zusätzlich Verantwortung für Projekte und Teams – von der konzeptionellen Ausarbeitung über Aufwandsschätzungen bis zur erfolgreichen Umsetzung. - Du stellst sicher, dass Projekte im geplanten Zeitraum umgesetzt werden, erkennst Projektrisiken frühzeitig und führst das Team sicher durch alle Phasen bis zum Go-Live. - Du begleitest die Übergabe in den Echtbetrieb und bist interner wie externer Ansprechpartner für Machine-Learning-, Generative AI- oder Agentic-AI-Themen. - Durch Workshops, Vorträge und Technologie-Events teilst du dein Wissen und treibst den Aufbau unserer AI-Community aktiv voran. Qualifications - Du hast mehrjährige Erfahrung in Data & Analytics-Projekten – idealerweise mit Fokus auf Machine Learning, Generative AI oder Agentic AI. - Du beherrscht sowohl Python als auch SQL. - Erfahrungen von relevanten ML-Frameworks (z. B. scikit-learn, TensorFlow, MLFlow) oder Generative AI- & Agentic-AI-Frameworks (z. B. LangChain, LlamaIndex, Microsoft Autogen) sind von Vorteil. - Du arbeitest gerne konzeptionell und lösungsorientiert, bringst Eigeninitiative und Kommunikationsstärke mit und kannst komplexe Themen verständlich vermitteln. - Verhandlungssichere (C-Niveau) Deutsch- und sehr gute Englischkenntnisse sind für dich selbstverständlich. - Für die Senior-Position bringst du Erfahrung in der Projektleitung und im Kundenmanagement mit. Benefits - Wir stellen standortunabhängig ein. Du kannst zu 90 % von zuhause aus oder an einem unserer Standorte arbeiten, wenn dieser für dich gut erreichbar ist. Zu gelegentlichen Kundenterminen und Teamevents startest du von deinem Lebensmittelpunkt aus, egal wo in Deutschland du wohnst. - 130 Data & Analytics Consultants zum Austausch sowie eine interne Weiterbildungsacademy. - Langfristige Projekte mit wechselnden technologischen Herausforderungen. - Ein festes Budget für Weiterbildungsmöglichkeiten sowie persönliche und fachliche Entwicklungsperspektiven. - Eine gute Work-Life-Balance durch flexible Arbeitszeiten, Überstundenausgleich sowie bis zu 40 Tagen Urlaub. - Sowohl erstklassige Hard- und Softwareausstattung als auch Leasingangebote für Firmenwagen, IT-Hardware und Fahrräder. - Kurze Wege im Unternehmen, ein fairer Umgang miteinander sowie unterhaltsame Teamevents. Contact and Application Bewirb dich schnell und einfach direkt hier. Ergreife die Initiative und sprich mit uns über deine Karriereziele. Deine Ansprechpartnerin: Frau Julia Beer Recruiting | Personalmarketing Kontakt: Windhoff Group Am Campus 17, 48712 Gescher +49 (0) 25 42 / 95 59 18 j.beer@windhoff-group.de

• Operate across the full ML lifecycle (problem framing, data, modeling, evaluation, deployment, monitoring, and oncall), designing scalable ML pipelines and championing responsible AI (bias, safety, explainability) for ACU’s models and signals in production. • Provide technical leadership and mentorship to MLEs and SWEs doing ML work in ACU, design reviews, setting technical standards, and uplifting the team’s modeling and systems craft. • Develop evaluation systems and quality monitoring systems for content understanding signals, using SOTA LM-judge practices. • Drive operational excellence for ACU’s ML systems by defining SLOs, alerting, and dashboards for key signals (coverage, latency, precision/recall, cost) • Build and evolve content understanding capabilities for commercial conversations (e.g., reviews vs. recommendations vs. comparisons vs. Q&A; sentiment and stance; product entities and categories) and operationalize them as robust signals that power contextual and shopping ads, auto-targeting, new formats, and insights products. • Drive LLM and modern ML best practices within ACU: define when to prompt, finetune, or distill; design evaluation and safety harnesses; and lead at least one major distillation effort to replace external APIs with in-house models.

Role Description You'll work across the lab on agent capability evals, benchmark design, LLM-as-judge systems, failure analysis, and the infrastructure that ties it together. This is a high-growth, high-ownership role on a small team, and you'll ship evaluation infrastructure that researchers depend on from day one. Responsibilities - Run the full eval pipeline end to end and reproduce known results during onboarding, pairing with a senior engineer on your first task. - Build a judge calibration protocol: sample human-labeled decisions, measure agreement (κ, per-class P/R), identify drift zones, and document it so anyone can re-run it. - Extend an existing benchmark (GAIA, τ-Bench, SWE-bench slice, etc.) with new tasks targeting known capability gaps, including the prompt, environment, rubric, automated grader, and QA. - Run failure analysis on model outputs: categorize failure modes, quantify prevalence, and write up findings with recommendations for training data, judge prompts, or benchmark changes. - Own a recurring eval workflow (weekly regression suite, judge drift dashboard, red-team evaluation for a new capability) and ship tooling researchers actually use. Qualifications - 3+ years in software engineering, ML engineering, data science, or a research-adjacent role, with concrete evaluation experience from coursework, an internship, a side project, open source work, or a job. - Experience with at least one LLM evaluation framework (Harbor, Nemo Evaluator, etc.), with real opinions on what it does well and where it falls short. - Hands-on experience with LLMs: prompting, few-shot design, and ideally fine-tuning or RAG; regular use of coding agents. - Solid Python. You write clean, tested, version-controlled code that a colleague could run without you babysitting it. - Comfort with Git, CI/CD basics, Docker, and the Linux command line (SSH, tmux, debugging a remote job). - Understanding of basic eval statistics: why accuracy misleads on imbalanced judges, what Cohen's κ measures, how to think about confidence intervals on a metric. - At least 3 of the following: - You can explain why LLM-as-judge needs calibration. - You've done failure analysis and can tell model bugs apart from prompt, grader, or retrieval issues. - You know at least two agent benchmarks (GAIA, AgentBench, τ-Bench, MINT, SWE-bench, WebShop, ALFWorld) and a limitation of each. - You've designed or extended an eval dataset with happy paths, edge cases, and adversarial examples. - You've thought about non-determinism in eval, how you sample, how many runs, how you report variance. - You communicate clearly to both researchers and engineers, in the right language for each. - You're comfortable with ambiguity, can turn a half-formed request into a plan, and know when to ask for help. Preferred - RLVR / RLHF pipeline experience. - Training data curation experience. - Distributed eval orchestration experience. - Benchmark design from scratch. - Red teaming and adversarial eval experience. - Familiarity with psychometrics or measurement theory.

• Develops, tests, deploys, and maintains software for recommendation engines • Collaborates in agile processes to create valuable user stories • Mentors junior engineers on software development practices • Leads system design initiatives and drives best practices in scalable architecture • Integrates AI and machine learning capabilities into the product recommendation journey