Product Manager IV - Produto Disrupt | Tech @ iFood

Nosso Modo de Fazer no Time: Você irá liderar a estratégia, a qualidade e a evolução do “cérebro” de um agente conversacional baseado em GenAI. Seu foco será garantir qualidade mensurável (EVALs), fluxos conversacionais robustos, orquestração de ferramentas (tool use/function calling) e uma arquitetura de agente segura, observável, eficiente em custo e com alta performance. Seu Cardápio Diário Visão & Estratégia do agente: definir o roadmap da inteligência do agente (memória, ferramentas, recuperação de contexto, guardrails, segurança) alinhado a métricas de negócio. EVALs & Qualidade: Desenhar e operacionalizar a pipeline de EVALs offline e online (ex.: task success rate, groundedness, factuality, safety, toxicity, latency, cost). Determinar datasets de avaliação, cenários de red teaming, critérios de aceitação e processos de regressão contínua. Fluxos conversacionais: Mapear intents, entidades e diagramar fluxos multi-turn (inclusive fallback, desambiguação, handed-off humano). Garantir coerência, memória de longo prazo/curto prazo e consistência de persona. Arquitetura & Protocolo do agente: Co-criar com Engenharia a arquitetura de orquestração (ex.: LangGraph/LangChain, function calling, tool routing, RAG, vector DBs). Definir padrões de observabilidade e LLMOps (tracking, tracing, custo, latência, prompt/version management). Estabelecer protocolos de segurança, governança de dados e privacidade (PII handling, filtros, políticas de retenção). Experimentação & Métricas de produto: Conduzir A/B tests, shadow/holdout, testes de guardrails e “canary releases”. Equilibrar qualidade x custo x latência e otimizar continuamente (ex.: modelos menores + reranking, caching, distillation). Colaboração transversal: Trabalhar lado a lado com Engenharia, Data/ML, Design Conversacional, Segurança/Legal Comunicar claramente trade-offs técnicos para stakeholders não técnicos; Ingredientes que Buscamos: Experiência sólida (5–8+ anos) em Product Management, com passagem relevante por produtos de IA / NLP / agentes conversacionais. Vivência prática com EVALs de LLMs (definição de métricas, datasets, harnesses de avaliação, red teaming, regressão). Criação e evolução de fluxos conversacionais (intents, entidades, fallback, handoff humano, multi-turn, persona). Entendimento de arquitetura de… Apply To This Job