Inteligência artificial nas empresas exige análise crítica e validação

Inteligência artificial nas empresas exige análise crítica e validação

Alpha Premium | Gestão, Finanças e Controladoria

A inteligência artificial pode acelerar análises, organizar informações e ampliar a capacidade de trabalho das empresas. Mas a rapidez e a aparência profissional de uma resposta podem estimular uma confiança que o conteúdo ainda não merece.

O risco aumenta quando os primeiros resultados impressionam e passam a justificar decisões maiores: reduzir equipes, eliminar conferências, automatizar aprovações ou utilizar recomendações sem verificar suas premissas.

A posição da Alpha Premium é clara: o uso empresarial da IA exige revisão, aperfeiçoamento e validação proporcional ao impacto da decisão. Uma resposta convincente deve ser tratada como material de trabalho até que sua confiabilidade esteja demonstrada.

A primeira resposta é o início do trabalho

Uma análise produzida por IA pode apresentar boa redação, tabelas organizadas e argumentos coerentes, mas ainda conter dados incorretos, omissões ou conclusões incompatíveis com a realidade da empresa.

O NIST, instituto norte-americano de padrões e tecnologia, identifica tanto a geração de informações falsas apresentadas com confiança quanto o chamado viés de automação: a tendência humana de atribuir confiança excessiva a sistemas automatizados. Essa combinação ajuda a explicar por que uma resposta aparentemente segura pode passar por verificações superficiais. [1]

Na prática, a revisão precisa examinar a substância. O número está correto? A fonte existe? A premissa corresponde ao negócio? O cálculo pode ser reproduzido? A conclusão continua válida quando mudamos uma condição relevante?

Aceitar uma resposta porque ela está bem escrita transfere para a apresentação uma confiança que deveria depender de evidências.

O que estudos e casos documentados mostram

A sensação de produtividade pode enganar

Em estudo publicado em julho de 2025, a METR acompanhou 16 desenvolvedores experientes na execução de 246 tarefas em projetos que conheciam bem. As ferramentas utilizadas incluíam principalmente Cursor Pro com Claude 3.5 e 3.7 Sonnet.

Após a experiência, os participantes estimavam que a IA havia reduzido o tempo de trabalho em aproximadamente 20%. A medição mostrou o contrário: as tarefas levaram 19% mais tempo com o uso das ferramentas. [2]

O resultado não permite concluir que a IA reduz a produtividade de todos os profissionais. Em atualização de fevereiro de 2026, a própria METR relatou sinais de melhora com ferramentas mais recentes, mas explicou que problemas de seleção dos participantes e das tarefas dificultavam uma estimativa confiável do ganho. [3]

A lição gerencial permanece: percepção de facilidade e produtividade medida precisam ser avaliadas separadamente.

A mesma tecnologia pode ajudar em uma tarefa e prejudicar outra

Pesquisa com 758 consultores do Boston Consulting Group, divulgada inicialmente em 2023 por pesquisadores ligados à Harvard Business School, encontrou benefícios relevantes em tarefas compatíveis com as capacidades da IA. Houve ganhos de velocidade e de qualidade.

Entretanto, em uma tarefa analítica situada fora dessas capacidades, os participantes que utilizaram IA tiveram uma probabilidade de resposta correta cerca de 19 pontos percentuais menor. [4]

Os pesquisadores descrevem uma fronteira irregular: a competência demonstrada em determinado trabalho não garante desempenho equivalente em outro, ainda que ambos pareçam semelhantes.

Para as empresas, isso significa que um bom resultado na redação de relatórios não comprova competência para validar um modelo financeiro, interpretar uma obrigação contratual ou recomendar uma decisão de investimento.

O próprio Claude apresentou falhas ao administrar uma loja experimental

No Project Vend, divulgado em junho de 2025, a Anthropic e a Andon Labs colocaram uma versão do Claude Sonnet 3.7 para administrar uma pequena loja experimental. O sistema vendeu itens abaixo do custo, concedeu descontos inadequados e chegou a informar uma conta de pagamento inexistente. [5]

Na segunda fase, publicada em dezembro de 2025, modelos mais recentes, ferramentas melhores e procedimentos mais estruturados elevaram o desempenho. Ainda assim, persistiram vulnerabilidades. A Anthropic destacou a importância de exigir verificações de preço e prazo e observou que um segundo agente, colocado como gestor, compartilhava limitações do primeiro. [6]

Trata-se de um experimento, e não de evidência de que todas as versões atuais do Claude repetirão esses comportamentos. Seu valor está em mostrar que capacidade técnica, ferramentas, procedimentos e supervisão influenciam conjuntamente o resultado.

A Deloitte precisou corrigir um relatório e devolver parte do pagamento

Em outubro de 2025, a Associated Press noticiou que a Deloitte Austrália concordou em devolver parte do pagamento de um relatório contratado por aproximadamente 440 mil dólares australianos. O documento continha referências inexistentes e uma citação judicial fabricada. A versão revisada informou o uso de Azure OpenAI. [7]

O órgão contratante afirmou que as recomendações foram mantidas. Mesmo assim, referências falsas haviam chegado à entrega final. O episódio mostra a necessidade de conferir a existência das fontes e sua correspondência com as afirmações apresentadas.

A Klarna reviu o peso atribuído à redução de custos

Em setembro de 2025, a Reuters publicou declarações do CEO da Klarna reconhecendo que a empresa pode ter enfatizado excessivamente os cortes de custos com IA, em prejuízo do atendimento e da melhoria dos serviços. [8]

O caso exige contexto: a Klarna continuou utilizando IA. Em seu relatório anual de 2025, informou que o assistente atendeu 80% dos chats e gerou aproximadamente US$ 59 milhões em economia no ano, segundo estimativas e dados internos. Também descreveu a manutenção da opção de atendimento humano. [9]

A experiência reúne benefícios econômicos declarados e necessidade de ajustes na implantação. Avaliar apenas uma dessas dimensões produziria uma leitura incompleta.

A confiança excessiva pode reduzir o esforço de revisão

Estudo publicado na conferência CHI de 2025, com pesquisadores da Microsoft Research e parceiros, reuniu 319 trabalhadores do conhecimento e 936 exemplos de uso de IA no trabalho. A maior confiança na IA esteve associada a menor esforço de pensamento crítico relatado pelos participantes. [10]

É uma pesquisa baseada em autorrelatos e associações. Ela não demonstra que a IA provoque perda permanente de capacidade intelectual. Seu alerta é mais específico: a confiança depositada na ferramenta pode influenciar a disposição de verificar suas respostas.

Isso reforça uma responsabilidade da liderança: criar condições para que os profissionais possam discordar, conferir e corrigir a tecnologia, mesmo quando a organização está pressionada a demonstrar ganhos rápidos.

Um método prático para usar IA com rigor

A Alpha Premium recomenda um processo em que cada etapa tenha uma finalidade clara.

1. Definir a pergunta e os critérios de aceitação. Informar objetivo, contexto, período, dados disponíveis e limites. Antes de gerar a resposta, estabelecer o que será necessário para considerá-la utilizável.

2. Examinar a primeira entrega. Identificar inconsistências, omissões, generalizações e premissas implícitas. Separar fatos verificáveis de hipóteses e interpretações.

3. Solicitar adequações e contrapontos. Pedir alternativas, condições em que a conclusão deixaria de valer e informações que poderiam mudar a recomendação. Essa etapa deve melhorar a análise, sem apenas reforçar a preferência inicial do solicitante.

4. Conferir de forma independente. Abrir as fontes originais, reconciliar os dados com os registros da empresa e reproduzir os cálculos relevantes. Pedir à mesma IA que revise sua resposta é útil, mas não constitui validação independente. Outra IA pode ajudar a identificar divergências; a concordância entre modelos também não comprova correção.

5. Testar antes de ampliar. Comparar resultados com uma referência conhecida e incluir exceções, dados incompletos e casos difíceis. Um piloto composto apenas por exemplos favoráveis pouco informa sobre a operação cotidiana.

6. Aprovar e acompanhar. Definir quem responde pela entrega e quais indicadores serão monitorados. Alterações de modelo, dados ou processo podem exigir nova avaliação.

Revisão humana precisa ter conteúdo: competência técnica, tempo, acesso às evidências e autoridade para rejeitar uma recomendação. A simples presença de uma pessoa no fluxo não garante controle efetivo.

Aplicações em Finanças e Controladoria

Os exemplos a seguir são situações ilustrativas de revisão técnica, e não conclusões dos estudos citados.

Na formação de preços, a IA pode apresentar um cálculo matematicamente correto sobre uma base inadequada. A conferência deve verificar o tratamento dos custos, das despesas e das margens, inclusive a diferença entre acréscimo sobre custo e margem sobre venda.

Em valuation, uma apresentação sofisticada pode esconder incompatibilidades entre fluxo de caixa e taxa de desconto, premissas frágeis de perpetuidade ou ajustes sem evidências. A análise exige rastreabilidade das premissas e testes de sensibilidade.

Na análise de resultados, uma explicação plausível para a queda da margem precisa ser confrontada com os dados de preço, volume, mix, custos e produtividade. O texto produzido pela IA pode organizar hipóteses; a evidência operacional deve sustentá-las.

Em todos esses trabalhos, a experiência do profissional ajuda a formular perguntas melhores e reconhecer resultados improváveis. Essa experiência deve ser acompanhada de documentação e conferência reproduzível.

A Controladoria precisa medir o ganho completo

Uma implantação deve considerar o tempo total entre a solicitação e a entrega aprovada, incluindo preparação dos dados, revisão e correções. Também precisa acompanhar qualidade, retrabalho e consequências dos erros.

Se um relatório passou a ser produzido em poucos minutos, mas passou a exigir horas de conferência, o ganho precisa ser recalculado. Se a redução de custo prejudicou a resolução dos problemas dos clientes, a avaliação precisa incorporar esse efeito.

Tempo liberado pode gerar capacidade adicional. Sua conversão em economia de caixa ou receita depende de decisões posteriores e deve ser demonstrada. Essa distinção evita apresentar todo ganho de velocidade como benefício financeiro já realizado.

A responsabilidade pela decisão continua com a empresa

Os estudos e casos apresentados envolvem diferentes modelos, períodos e condições de uso. Eles não estabelecem um ranking entre Claude, ChatGPT ou outros sistemas. Sustentam uma orientação comum: resultados iniciais devem ser examinados antes de justificar maior autonomia ou mudanças estruturais.

Na visão da Alpha Premium, o uso consistente da IA combina perguntas bem formuladas, revisão crítica, aperfeiçoamento e validação independente. O nível de controle deve acompanhar o impacto potencial do erro.

A inteligência artificial pode acelerar a elaboração. A qualidade da decisão depende de evidências, critérios e responsabilidade.

Sua empresa está medindo os ganhos reais da IA? A Alpha Premium oferece consultoria e mentoria em Gestão, Finanças e Controladoria para apoiar a análise de processos, premissas, indicadores e decisões de implantação. Entre em contato para conversar sobre os desafios do seu negócio.

Referências

Fontes consultadas em 8 de novembro de 2026. Os estudos devem ser interpretados conforme seus períodos, amostras e limitações.

[1] AUTIO, C. et al. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1, julho de 2024. https://doi.org/10.6028/NIST.AI.600-1

[2] BECKER, J.; RUSH, N.; BARNES, B.; REIN, D. Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR, julho de 2025. https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study-paper.pdf

[3] BECKER, J. et al. We are Changing our Developer Productivity Experiment Design. METR, 24 de fevereiro de 2026. https://metr.org/blog/2026-02-24-uplift-update/

[4] HARVARD BUSINESS SCHOOL. Humans vs. Machines: Untangling the Tasks AI Can (and Can't) Handle. Working Knowledge, 2023. Apresentação da pesquisa de Dell'Acqua e colaboradores com consultores do BCG. https://www.library.hbs.edu/working-knowledge/humans-vs-machines-untangling-the-tasks-ai-can-and-cant-handle

[5] ANTHROPIC. Project Vend: Can Claude run a small shop? (And why does that matter?). 27 de junho de 2025. https://www.anthropic.com/research/project-vend-1

[6] ANTHROPIC. Project Vend: Phase two. 18 de dezembro de 2025. https://www.anthropic.com/research/project-vend-2

[7] ASSOCIATED PRESS. Deloitte to partially refund Australian government for report with apparent AI-generated errors. 7 de outubro de 2025. Republicado pela CNA. https://www.channelnewsasia.com/world/deloitte-partially-refund-australia-government-report-apparent-ai-generated-errors-5387971

[8] MUKHERJEE, S.; WANG, E. Europe's AI poster child Klarna taps the brakes on chatbots. Reuters, 10 de setembro de 2025. Republicado pela WHBL. https://whbl.com/2025/09/10/europes-ai-poster-child-klarna-taps-the-brakes-on-chatbots/

[9] KLARNA GROUP PLC. Annual Report 2025, Form 20-F. Seção de discussão e análise dos resultados, atendimento com IA. Dados e estimativas declarados pela companhia. https://s205.q4cdn.com/644747736/files/doc_financials/2025/q4/Klarna-Group-plc-20-F-2025.pdf

[10] LEE, H.-P. et al. The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers. CHI 2025. https://doi.org/10.1145/3706598.3713778