Como avaliar as explicações de um coach de treino com IA

“Por que isso está no meu treino?”

Perguntar por que um treino mudou é razoável. Uma resposta útil pode identificar o objetivo, o treinamento concluído que foi considerado, as limitações que você informou e o que ainda é incerto.

Mas uma linguagem fluente não prova que uma IA expôs seu verdadeiro raciocínio interno. Um LLM pode produzir uma explicação plausível a posteriori, omitir um dado influente ou mencionar com confiança informações que nunca recebeu. A explicação é um resumo voltado para o usuário, não um registro fiel do processamento oculto do modelo.¹

Essa distinção muda a forma de avaliar. Não pergunte apenas se um aplicativo consegue produzir um parágrafo. Pergunte se suas afirmações se baseiam em dados visíveis, expressam a incerteza adequada, podem ser questionadas com segurança e são coerentes com o que o produto realmente armazena e modifica.

Três formas de um software explicar uma recomendação

Regras

Um sistema baseado em regras pode mostrar a regra exata que foi acionada: por exemplo, “Você marcou a última série como incompleta, então a próxima meta permaneceu igual”. A explicação pode ser restrita, mas pode ser fiel quando relata diretamente a regra implementada.

Modelos estatísticos ou de aprendizado de máquina

Alguns modelos são interpretáveis desde a concepção; outros usam métodos a posteriori para resumir quais variáveis foram associadas a um resultado. As explicações a posteriori podem ser úteis, mas são aproximações e não devem ser apresentadas como o raciocínio exato do modelo em contextos de alto risco.²

Conversas com LLMs

Um LLM pode discutir uma recomendação, responder a perguntas adicionais e incorporar novas informações em linguagem natural. Essa é uma vantagem valiosa da interface. Não é interpretabilidade automática: pesquisas constatam que a fidelidade das autoexplicações dos LLMs depende do modelo, da tarefa e do método de explicação.¹

O diálogo ainda importa. Pesquisas sobre explicabilidade defendem que as pessoas muitas vezes precisam de perguntas sucessivas, em vez de um único gráfico estático de variáveis.³ O padrão de produto seguro combina acesso por conversa com dados verificáveis, incerteza explícita e limites próprios do domínio; apenas a conversa não basta.

O teste de cinco perguntas para avaliar uma explicação

1. A explicação identifica dados que você pode verificar?

Pergunte: “Quais informações você usou para fazer esta recomendação?”

Resposta útil: Ela menciona dados disponíveis, como a meta que você informou, as séries concluídas, uma limitação de horário ou uma tendência agregada de recuperação. Distingue dados de suposições e permite que você verifique os números no aplicativo de origem.

Sinal de alerta: Afirma ter visto uma refeição, lesão, valor de HRV, leitura de AQI ou treino que você não forneceu e que o produto não recebe.

A especificidade só é útil quando é verdadeira. Um número inventado é pior do que um “Não tenho esses dados” sincero.

2. A explicação separa observação, inferência e recomendação?

Pergunte: “Quais partes são fatos, quais são interpretações suas e o que poderia mudar a recomendação?”

Uma boa resposta separa:

Observação: “Você concluiu duas das cinco séries planejadas.”
Inferência: “Isso pode refletir falta de tempo, fadiga, dor ou outra limitação; não sei qual.”
Recomendação: “Mantenha a próxima sessão mais conservadora até esclarecer o que aconteceu.”

Uma explicação não deve transformar HRV, sono, dor muscular ou uma única sessão difícil em diagnóstico.

3. Você consegue corrigi-la sem ser pressionado?

Pergunte: “Essa suposição está errada. Parei porque a academia fechou, não porque estava fatigado. O que muda?”

O sistema deve reconhecer a correção, dizer se ela muda a recomendação e preservar a escolha do usuário. Uma resposta em forma de conversa é útil porque permite discordar; ela não deve reivindicar autoridade apenas porque parece falar como um coach.

4. A memória corresponde à memória real do produto?

Pergunte: “Quais limitações ou preferências você lembra sobre mim?”

O coach de IA da SensAI pode lembrar lesões, preferências e limitações informadas ao longo das sessões. Isso não significa que uma janela de contexto de LLM armazene automaticamente uma temporada inteira de treinamento nem garante um histórico causal completo de todas as decisões do programa. A capacidade da janela de contexto e a memória persistente do produto são sistemas diferentes.

O aplicativo deve permitir que os usuários corrijam um contexto desatualizado. As informações de saúde mudam, e uma limitação lembrada não deve se transformar silenciosamente em um diagnóstico permanente.

5. A explicação lida com uma nova dor ou lesão de forma segura?

Pergunte: “Torci o tornozelo durante o aquecimento. O que devo fazer?”

Resposta útil: Interrompa a atividade que provoca a dor. Verifique se há dor intensa, deformidade, inchaço rápido, incapacidade de apoiar o peso, dormência ou fraqueza, desmaio ou outros sintomas urgentes. Procure atendimento urgente adequado quando esses sinais estiverem presentes e busque avaliação clínica para sintomas persistentes ou que estejam piorando. O sistema pode ajudar a retirar o treino do plano ou discutir opções de baixo risco somente depois que esses limites estiverem claros e o usuário solicitar uma mudança.

Sinal de alerta: Diagnostica uma entorse leve, presume que as outras articulações não foram afetadas ou prescreve imediatamente um treino alternativo. Encaminhar o usuário para atendimento médico não significa que a IA falhou no teste; às vezes, é a resposta mais segura.

Assistentes conversacionais já produziram respostas médicas inseguras quando as salvaguardas específicas do domínio eram fracas.⁴ Um LLM de fitness não deve ser avaliado pela agressividade com que improvisa diante de uma lesão aguda.

O que a SensAI oferece atualmente

A SensAI usa LLMs em vez de algoritmos tradicionais de aprendizado de máquina. Seu coach pode discutir o treinamento em linguagem natural, lembrar lesões, preferências e limitações informadas e responder quando o usuário solicita uma modificação durante o treino.

O comportamento de planejamento é específico:

Os programas são gerados do zero em torno de objetivos, equipamentos, rotina e limitações.
Os programas são regenerados semanalmente com base no desempenho real e no contexto de recuperação.
Mudanças durante o treino ocorrem por meio de ações rápidas selecionadas pelo usuário ou solicitações em linguagem natural.
Um resumo diário de recuperação pode usar o contexto agregado de HRV, sono, frequência cardíaca em repouso e treinos.

Não transforme esses recursos em afirmações sobre um botão específico de “por quê”, uma justificativa auditada para cada exercício, uma reescrita automática no mesmo dia ou uma retrospectiva causal de várias semanas, a menos que seja verificado que o produto lançado oferece essas funções.

A privacidade também importa para a qualidade da explicação. Os dados brutos do HealthKit permanecem no dispositivo. Métricas agregadas de recuperação e resumos de treino podem ser enviados ao servidor para o coaching com IA. Uma resposta não deve sugerir que o LLM recebeu dados brutos dos estágios do sono, todos os batimentos cardíacos ou outro fluxo de dados que nunca saiu do dispositivo.

Um exemplo seguro

Imagine que um usuário diga: “Meu ombro dói nos exercícios de empurrar. Substitua o supino inclinado com halteres.”

Uma resposta mais segura começa reconhecendo a incerteza: “Interrompa o movimento que dói. Não consigo determinar a causa nem confirmar que outro exercício de empurrar seja seguro. Se houver dor intensa, deformidade, fraqueza súbita, dormência, inchaço, sintomas no peito ou dor depois de uma queda, procure atendimento médico rapidamente. Se os sintomas forem leves, mas persistirem ou voltarem, busque uma avaliação. Se quiser, posso retirar os exercícios de empurrar deste treino enquanto você decide o que fazer em seguida.”

Essa resposta faz menos do que uma substituição de exercício apresentada com confiança — e esse é o objetivo. Ela identifica o limite, deixa a decisão médica para profissionais qualificados e oferece uma ação de planejamento controlada pelo usuário sem diagnosticar o ombro.

Como usar explicações de IA sem confiar demais nelas

Verifique cada métrica citada na fonte que a mediu.
Pergunte quais informações não estavam disponíveis.
Separe os dados observados da inferência e da orientação.
Corrija suposições falsas e veja se a resposta muda de forma coerente.
Trate os limites médicos, de lesões e de nutrição como um ponto forte, não como falha do produto.
Mantenha o controle sobre as mudanças no programa; não aceite alterações silenciosas que você não possa revisar.

Não considere um aplicativo confiável só porque ele responde com fluência a quatro de cinco perguntas. As explicações de LLMs podem ser ferramentas úteis para uma conversa, mas exigem verificação e não devem ser consideradas um reflexo fiel do raciocínio interno.¹

Explicação e mudança de comportamento

As taxonomias de mudança de comportamento incluem técnicas como feedback, instrução, definição de metas e informações sobre consequências.⁵ Revisões de aplicativos de atividade física também avaliam intervenções com vários componentes que combinam feedback, acompanhamento, metas e personalização.⁶

Essas fontes não provam que uma explicação sozinha provoque mudança de comportamento nem que uma mudança sem explicação nunca funcione. A afirmação defensável é mais restrita: um feedback claro pode ajudar o usuário a entender uma recomendação e agir sobre ela quando é exato, relevante e parte de uma intervenção mais ampla.

Um critério melhor

A explicação de um coach de treino com IA é útil quando pode ser verificada, expressa a incerteza adequada, responde a correções, é coerente com o comportamento real do produto e sabe parar nos limites médicos.

A melhor pergunta seguinte não é apenas “Por quê?”. É esta:

“O que você observou, o que está inferindo, sobre o que tem dúvidas e o que mudaria esta recomendação?”

References

Madsen A, Chandar S, Reddy S. “Are Self-Explanations From Large Language Models Faithful?” Findings of the Association for Computational Linguistics: ACL 2024, 2024. https://aclanthology.org/2024.findings-acl.19/ ↩ ↩² ↩³
Rudin C. “Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead.” Nature Machine Intelligence, 2019;1(5):206-215. https://www.nature.com/articles/s42256-019-0048-x ↩
Lakkaraju H, Slack D, Chen Y, Tan C, Singh S. “Rethinking Explainability as a Dialogue: A Practitioner’s Perspective.” arXiv, 2022. https://arxiv.org/abs/2202.01875 ↩
Bickmore TW, Trinh H, Olafsson S, et al. “Patient and Consumer Safety Risks When Using Conversational Assistants for Medical Information: An Observational Study of Siri, Alexa, and Google Assistant.” Journal of Medical Internet Research, 2018;20(9):e11510. https://www.jmir.org/2018/9/e11510 ↩
Michie S, Richardson M, Johnston M, et al. “The Behavior Change Technique Taxonomy (v1) of 93 Hierarchically Clustered Techniques: Building an International Consensus for the Reporting of Behavior Change Interventions.” Annals of Behavioral Medicine, 2013;46(1):81-95. https://pubmed.ncbi.nlm.nih.gov/23512568/ ↩
Romeo A, Edney S, Plotnikoff R, et al. “Can Smartphone Apps Increase Physical Activity? Systematic Review and Meta-Analysis.” Journal of Medical Internet Research, 2019;21(3):e12053. https://www.jmir.org/2019/3/e12053 ↩