• Perform side-by-side (SBS) comparisons of AI-generated responses • Evaluate outputs based on: Accuracy, Relevance, Clarity, Instruction-following • Identify nuances in tone, meaning, and cultural context across French • Apply detailed, scenario-specific annotation guidelines • Maintain consistency and high-quality evaluations

Role Description Você vai atuar no braço de consultoria de uma das maiores redes de pagamento do mundo, em projetos de IA junto a bancos, emissores e adquirentes. O momento é o do comércio agêntico: agentes de IA passando a descobrir, decidir e pagar em nome do consumidor, em ambientes de altíssima criticidade. Você não vai construir provas de conceito, vai desenhar e defender arquiteturas que vão a produção com milhões de usuários, dinheiro real e escrutínio regulatório. Como será seu dia a dia? - Desenhar arquiteturas de sistemas multiagente ponta a ponta do gateway de borda e autenticação até orquestração, ferramentas, bases de conhecimento e resposta e sustentar essas decisões sob questionamento técnico. - Definir e implementar guardrails de entrada e saída para aplicações de IA em ambiente financeiro: escopo, autenticação, autorização, PII, prompt injection, conteúdo, limites de ação. - Desenhar a camada de dados da solução: arquitetura de domínio, critérios de curadoria, fonte única de conhecimento, estratégia de RAG/CAG, vetorização e busca semântica e responder pela qualidade dela, não delegá-la. - Estabelecer grounding, rastreabilidade e observabilidade: garantir que toda resposta seja embasada, auditável e reproduzível apesar da natureza não determinística dos modelos. - Definir estratégias de avaliação (evals, LLM-as-judge, testes de regressão, detecção de alucinação e de context distraction) e de melhoria contínua. - Projetar arquiteturas híbridas LLM/SLM com decomposição consciente de custo, latência e qualidade. - Integrar via APIs, microsserviços e protocolos de agente (MCP, A2A e afins), em ambiente cloud. - Conduzir workshops de descoberta com stakeholders de negócio e tecnologia do cliente, identificar casos de uso, quantificar ganho operacional e traduzir a arquitetura para público executivo. - Atuar como referência técnica e formar o time do cliente. Qualifications - Experiência comprovada colocando sistemas de IA generativa e agentes em produção não pilotos em ambiente corporativo com requisitos de compliance, segurança e privacidade. - Capacidade de decompor uma solução em camadas de abstração e defender cada escolha com trade-off explícito. - Julgamento arquitetural próprio. Você usa IA como ferramenta, não como substituta da sua decisão de arquitetura. - Python e ecossistema de desenvolvimento de IA; experiência construindo agentes na mão (LangGraph ou equivalente), não apenas em plataformas low/no-code. - Domínio de RAG e busca semântica, bancos vetoriais, curadoria de dados e engenharia de contexto (incluindo CAG e mitigação de context distraction). - Guardrails, Responsible AI, governança, MLOps/LLMOps. - Cloud (AWS, Azure ou GCP) para desenvolvimento e operação. - Capacidade de traduzir complexidade técnica para executivos. - Disponibilidade para 3 a 4 semanas presenciais em São Paulo no início do projeto e cerca de 1 encontro presencial por mês depois disso. Differentials - Serviços financeiros, meios de pagamento, comércio agêntico, protocolos de agente (MCP, TAP), experiência prévia em consultoria, inglês. Company Description Um dos nossos 7 valores é o “Sawabona", seu significado é pra lá de especial, e praticado diariamente aqui na Zappts! A saudação #Sawabona se originou no Sul da África, onde se acredita que todos nascemos pessoas boas, mas que, às vezes, podemos cometer alguns erros. Segundo a cultura deste lugar, quando alguém comete erros, toda a população se junta e, durante dois dias, só falam sobre as coisas boas que aquela pessoa já fez. Ao final desse período, todo o povo cumprimenta seu conterrâneo com a expressão "Sawabona". Esse, por sua vez, responde "Shikoba". Sendo assim, Sawabona significa: "Eu te vejo, eu te respeito, você é importante para mim". E a resposta, Shikoba: "Então eu sou bom e existo para você". Aqui na Zappts, Sawabona traduz e representa o que mais prezamos em nossas relações: o respeito e a valorização do outro. Se você é apaixonado por tecnologia e sentiu conexão com os nossos valores, venha para nossa tribo aqui é seu lugar!

Role Description We are looking to 10x our team’s impact by becoming truly AI native in everything we do. We need someone to lead that transition by helping plan, educate, build, and integrate across the entire company. - Architect the future: You'll embed with teams across the company to deeply map their systems, workflows, and work product, then re-envision them alongside subject matter experts - (co)designing specific solutions for each team that fit into our team-wide architecture of agents and shared knowledge bases. - Help build the future: You won't just make plans working alongside our dev team, you'll build, deploy, and iterate on specialized agents and internal tools, structure & integrate data schema, and take each team through a full v1.0 workflow optimization, one team at a time. All while also bringing others along to build with you. - Educate & train the team: You'll be the main leader in helping every teammate become a 10x version of themselves, creating team resources/guides, holding office hours, and coaching team members through a progressive journey from learning to creative independence. You’ll be at the center of cross-pollenating learnings and successes across the team. - Own responsible AI use: You'll work directly with the leadership team in defining and enforcing how we do all of this safely and responsibly, maintaining our internal AI and data-security policies, and running the review framework for internally built tooling. - Coordinate our AI efforts: You'll be the quarterback for Hallow's ongoing transition to be truly AI-native in everything we do, leading our weekly cross-functional meetings, documenting progress, and tracking adoption across every team so leadership always knows what's working, what it costs, and what impact it's driving. Qualifications - Passion: First & foremost, we’re looking for someone excited about our mission. It makes it a lot more fun :) - AI-Native Builder: We are not just looking for someone to help train and encourage others. We need someone who is hands-on with AI tools - You’ve built, de-bugged, and deployed a real project yourself. You don’t need to be a full-stack engineer, but you’ll bridge the gap between the engineering team and partner teams, QA’ing homegrown tools at the code level, and understand our backend infrastructure enough to build into it and explain it to other non-technical teammates. - Systems-Level Thinker: You can understand and re-envision system architecture and workflows across multiple areas of an organization. You know how to work within the micro of specific team workflows while also building with the macro of a team-wide architecture in mind. - Natural Collaborator: You’ll be working side-by-side with subject matter experts. You can earn trust and collaborate effectively by pulling their expertise into the work so the solutions fit how each team actually operates. - Coach & Communicator: You can flex your training skills to teach individuals and groups across different formats and audiences, adapting your teaching style and depth to fit who you’re working with. You’ll need to be particularly sensitive to meeting each person where they are in their current personal understanding of and potential fears toward AI. - Grit: We are a fast-growing startup, so we’re looking for comfort working in ambiguity and the ability to create meaningful impact in short periods of time. - Experience: You’ve spent time building - shipping real tools, agents, and/or automations - and time enabling others, whether through learning & development, operations, program management, consulting, or transformation work. You’ve done enough of both building and enabling that you can move fast without a playbook. Requirements - Experience in building and deploying AI tools and solutions. - Strong understanding of system architecture and workflows. - Ability to collaborate with diverse teams and stakeholders. - Proven coaching and communication skills. - Comfortable working in a fast-paced, ambiguous environment. Benefits - Competitive market rates in terms of equity, cash, & benefits. - Unlimited PTO. - Insurance coverage. - Remote-flexible work options. - Fully paid parental leave. - 401(k) match. - Stipends for spiritual development, health & wellness, home-office, and learning. Compensation Range $120,000 - $200,000 USD per year. The above range only includes cash compensation. Each full-time employee in the US also receives equity compensation, alongside a top-tier benefits package. All full-time employees are also eligible to be considered for a discretionary bonus at the end of each fiscal year. These ranges are just initial estimates and may vary depending on market or location.

• Work with technology companies to identify improvements of existing technology, organizations, processes, and tools used to develop software products and services. • Work with private equity companies and other investment firms to help them understand the technology strengths, risks, and opportunities for improvement for potential investments (I.e. technical due diligence). • Design and implement solutions from scratch (e.g. Agile methodology transformations), guiding and mentoring more junior software developers and other engineers. • Collaboratively work in partnership with internal and client technical leads and team members.