Como o Java está evoluindo para a IA corporativa: uma palestra de Fábio Velloso
No Avalia Tech Forum 2026, em São Paulo, Fábio Velloso apresentou como o Java está evoluindo para atender às necessidades da IA corporativa, da integração com modelos ao runtime. A palestra teve um foco técnico, com exemplos dos frameworks e recursos da plataforma disponíveis para desenvolvedores e do que acontece quando a IA passa a fazer parte de uma aplicação em funcionamento. Este artigo resume os principais pontos.
Integrando IA a uma aplicação corporativa
Fábio começou com um exemplo de uma resposta inesperada de um modelo de linguagem. O episódio ilustrou um desafio que percorre toda a palestra: os desenvolvedores estão introduzindo um componente probabilístico no software, em que a mesma entrada pode gerar respostas diferentes.
Ele mostrou como LangChain4j e Spring AI ajudam a integrar modelos de linguagem a aplicações Java. Com esses frameworks, a IA passa a ser uma dependência que os desenvolvedores podem configurar e conectar à infraestrutura existente da aplicação.
Essa integração permite aproveitar mecanismos já estabelecidos para lidar com falhas. Fábio demonstrou como timeouts e circuit breakers podem impedir que um modelo lento ou indisponível comprometa a aplicação. Um fallback pode redirecionar uma chamada para um modelo local quando o serviço remoto falha, permitindo que a aplicação continue funcionando.
Entendendo o que acontece em produção
Os testes continuam sendo necessários, mas Fábio destacou a importância de observar o comportamento da IA depois que a aplicação entra em produção. Os usuários enviam informações que os desenvolvedores podem não ter previsto, enquanto os tempos de resposta e os resultados dos modelos podem variar.
Com dashboards de uma aplicação de classificação, ele mostrou como acompanhar a latência dos modelos e o consumo de tokens junto com métricas específicas do caso de uso. No exemplo apresentado, a maior parte do tempo de resposta vinha da chamada ao modelo e da rede. Otimizar o código Java teria, portanto, pouco efeito sobre o tempo total de espera.
As medições também revelaram uma relação entre custo e qualidade. Quando a equipe reduziu um prompt aproximadamente pela metade, quase metade das respostas mudou e os resultados pioraram. O exemplo mostrou por que uma alteração destinada a reduzir o consumo precisa ser avaliada junto com a qualidade das respostas da aplicação.
Fábio também descreveu o uso de modelos menores para tarefas de classificação, apoiados por processamento em Java. O exemplo ilustrou como a escolha do modelo depende do trabalho que a aplicação precisa realizar.
Da integração ao desempenho no runtime
A parte final da palestra examinou mudanças na própria plataforma Java. Fábio explicou como as virtual threads atendem a aplicações que passam uma parte significativa do tempo esperando por serviços externos, incluindo modelos de IA. Também apresentou a concorrência estruturada como uma forma de organizar operações relacionadas e tratar sua conclusão ou falha em conjunto.
Em seguida, abordou a Foreign Function & Memory API e a Vector API, explicando seu papel na integração do Java com bibliotecas nativas e no suporte a processamento especializado. Um exemplo de busca por similaridade entre vetores demonstrou os possíveis ganhos de desempenho. Já a discussão sobre o Project Babylon apresentou uma perspectiva futura de execução de cálculos definidos em Java em outros ambientes.
Ao longo da palestra, Fábio conectou a integração de IA ao trabalho de engenharia necessário para operá-la de forma confiável. Seus exemplos mostraram como o ecossistema existente do Java, junto com os avanços da plataforma, pode ajudar as equipes a compreender e gerenciar a IA dentro de aplicações corporativas.
