Textos de Radamés Roriz

Eu fiz um benchmark para o meu projeto pessoal, e claude opus e gpt sol são horríveis para o meu cenário.

Você já fez o seu benchmark hoje? Essa é uma realidade rotineira para qualquer time que mantém uma feature usando LLM. Todo dia sai modelo novo, e se você está rodando um modelo na nuvem, pode ter atualização sem aviso prévio.

No meu caso eu processo livros, rodando (por enquanto) duas pipelines: a primeira é bem trivial, quase uma classificação em duas etapas, e a outra é mais complexa, com extração de dados em cinco etapas.

Curiosamente, um modelo de maio (gemini-3.1-flash-lite) é o melhor para o meu caso específico. Destaque também para o glm-5.3-flash (Ox Alpha), lançado recentemente. Já modelos mais poderosos, como gpt sol e opus 5, performam bem pior.

Fica aqui mais um lembrete: pare de prestar atenção cega em benchmarks anunciados em larga escala. Raramente esses benchmarks públicos vão resolver um problema específico da sua empresa. Você é o responsável por saber o que o seu modelo de negócio precisa, fazer o seu próprio benchmark, e descobrir que a realidade é bem diferente.

Como sempre, estou falando aqui de LLM integrada a um sistema, não de produtividade do dia a dia. Uso opus 5 e gpt sol todos os dias e não troco eles por nenhum outro, mas as tarefas do cotidiano e as tarefas que um sistema resolve são coisas bem diferentes.

Como está o seu gold dataset hoje? Se você usa LLM dentro do sistema e não tem um, é simplesmente loucura.

No post passado eu falei do paper LLM-as-a-Verifier e prometi explicar a diferença entre a técnica deles e a do ActiveGenie.

Os dois resolvem exatamente o mesmo problema: quando você pede para um LLM dar nota para duas respostas complexas, ele dá a mesma nota para as duas. O paper mediu isso, 27% de empates no Terminal-Bench V2 com escala discreta. E juiz que empata não ranqueia nada.

A solução do paper: logprobs.

Em vez de aceitar o token de nota que o modelo cuspiu, eles pegam a distribuição de probabilidade inteira sobre os tokens de score (numa escala de 1 a 20) e tiram a esperança. A nota deixa de ser um inteiro e vira contínua. Os empates vão a zero, e só de aumentar a granularidade a acurácia sobe de 73,1% para 77,5%.

A solução do ActiveGenie: debate político.

Em vez de pedir nota, eu não peço nota nenhuma. Os dois candidatos entram num debate estruturado: "A" apresenta seus pontos, "B" apresenta os dele, "A" contra-argumenta, "B" contra-argumenta, cada um faz as considerações finais, e um juiz imparcial decide. Não existe empate porque o formato não comporta empate, tem vencedor e tem perdedor.

E aqui está o trade-off que ninguém comenta.

Logprobs dão um sinal melhor: mais fino, calibrado e mais barato por comparação. Só tem um detalhe, GPT-5.5 e Claude Opus não expõem logprobs. Ou seja, uma chamada a mais, latência a mais e uma dependência de qual provider expõe o quê.

O debate roda em qualquer lugar. Ele só precisa de texto entrando e texto saindo. É exatamente por isso que o ActiveGenie é model-agnostic desde o primeiro dia: você troca de provider numa linha de config e não reescreve nada. O preço é um sinal mais grosso, eu sei quem ganhou, mas não sei por quanta distância.

Só que as duas não precisam viver separadas.

Na última versão do ActiveGenie eu adicionei suporte a logprobs: se o modelo escolhido expõe a distribuição, o Comparator usa o sinal contínuo junto com o debate; se não expõe, ele cai apenas no debate. Você não precisa escolher entre técnica portátil e sinal fino, você usa o melhor sinal que aquele modelo, naquela chamada, consegue te dar.

E isso me leva de volta ao mesmo ponto de sempre: o modelo importa menos do que o harness. Com a técnica certa em volta, dá para rodar um modelo pequeno, mais rápido e mais barato, e ainda assim entregar resultado consistente.

A fronteira não está no modelo. Está no que você constrói em volta dele!

A técnica em volta do modelo vale mais que o modelo de fronteira.

Pesquisadores de Stanford, UC Berkeley e NVIDIA Research mostraram que dá para superar GPT-5.5, Claude Opus 4.8 e Gemini 3.1 Pro sem usar um modelo melhor, usando uma técnica de torneio, com as respostas batalhando em comparações 1x1.

O nome é Probabilistic Pivot Tournament, e funciona assim:

1. O modelo gera N respostas candidatas para a mesma pergunta.
2. Uma primeira passada rápida dá um score inicial para cada resposta.
3. Com base nesse ranking, as respostas são divididas em dois grupos: as melhores (grupo pivô) e todo o resto.
4. Cada não-pivô é comparado contra cada pivô, e os pivôs entre si, tudo em duelo 1x1.
5. O resultado dos duelos gera o ranking final, e aí sim a melhor resposta é escolhida.

Não é rápido, nem barato. Mas funciona: 86,5% no Terminal-Bench V2, contra 84,7% do GPT-5.5. E 78,2% no SWE-Bench Verified, contra 76,8% do Opus 4.5.

E é isso que muda tudo: o melhor desempenho em uma tarefa não vem mais do modelo de fronteira, e sim do harness e da técnica que você constrói em volta dele.

Se você me acompanha há um tempo, já conhece essa técnica de torneio, é o que o ActiveGenie usa para entregar resultado consistente. Escrevi a primeira versão do torneio em 3 de fevereiro de 2025, quase um ano e meio atrás.

Tem uma diferença importante: o ActiveGenie usa debate político, e o paper usa logprobs. Mas isso merece um post só sobre.

Até lá, testa o ActiveGenie. Não dependa de modelo de fronteira e conta alta, use um modelo menor com a técnica certa.

Artigo: LLM-as-a-Verifier

Todo mundo se preocupa com o custo ou a velocidade dos LLMs, mas preciso dizer uma coisa: isso não importa se você não está construindo o LLM do zero.

Para nós, desenvolvedores e engenheiros, o foco deve ser entregar valor real. Algo que as pessoas realmente queiram, sem enrolação.

Não precisamos de novos modelos. Precisamos focar no que realmente importa: resultados consistentes!

É impressionante como a IA pode fazer de tudo, mas encontrar o encaixe ideal para ela continua sendo um grande desafio. Quem trabalha com IA enfrenta o paradoxo da escolha a cada nova interação. Mesmo em cenários já estabelecidos, como assistentes de código, existem infinitas maneiras de errar.

Na minha visão, o uso perfeito não tem nada a ver com as demonstrações vistosas das big techs. O valor real está no nosso rotineiro human-in-the-loop, integrado às plataformas que construímos. A IA não precisa ser perfeita. Ela só precisa igualar a precisão de um profissional mediano executando aquela função. O trunfo aqui é escala, não perfeição absoluta.

Seus especialistas mais experientes continuam essenciais como guias: eles definem as boas práticas e sabem quais atalhos funcionam na prática. A estratégia sempre foi quebrar grandes responsabilidades humanas em tarefas menores e bem estruturadas. Agora, fazemos isso utilizando IA.

Quer um exemplo prático? Quando uma empresa escolhe um fornecedor, a decisão raramente é apenas sobre preço. Precisamos lidar com:

• Interpretar documentos não padronizados: ler um Contrato Social antigo ou digitalizado para identificar Sócios e Beneficiários Finais (UBO), onde a variação de formato é enorme.
• Analisar a gravidade de pendências: ler resumos de processos judiciais para classificar se representam risco reputacional real ou apenas ruído administrativo.
• Higienizar dados complexos: decidir se "Linkana Tech" e "Linkana S.A." são a mesma entidade em registros duplicados, cruzando endereços e contexto onde a busca exata por texto falharia.

Cada uma dessas etapas pode ser acelerada por IA e, nos melhores casos, automatizada por completo. O cenário ideal acontece quando esse human-in-the-loop conecta dois sistemas diretamente: no instante em que um orçamento é aprovado, o sistema financeiro conclui o pagamento, aciona o fornecedor e notifica o restante da cadeia de suprimentos.

Ouvimos falar muito sobre AGI, mas para a maioria de nós, isso não é o que realmente importa.

Não acredito que estejamos prestes a alcançar a AGI, seja qual for a definição escolhida, mas não atingir esse marco não diminui o impacto da IA na sociedade. Mesmo se parássemos de lançar novos LLMs hoje, o mundo já mudou para sempre. O que segura a maioria das empresas atualmente não é a falta de capacidade da IA, mas sim encontrar os casos de uso certos e obter consistência.

O melhor lugar para aplicar IA é dentro de softwares existentes e em tarefas com human-in-the-loop. Em alguns cenários, a IA consegue automatizar o processo por completo; em outros, ela acelera o trabalho imensamente.

A oportunidade perfeita está onde um humano hoje atua como ponte entre dois sistemas. Automatizar essa conexão intermediária vai transformar o mercado. Para isso funcionar, a IA não precisa ser impecável; ela só precisa entregar a consistência e o desempenho de um colaborador humano em escala.

Não precisamos de modelos mais inteligentes para isso. Precisamos de processos estruturados e de uma forma clara de pensar. Esse é o desafio atual: tarefas human-in-the-loop raramente são bem documentadas, e cada pessoa as executa de um jeito diferente.

Se quiser um conselho: grave, documente e estruture as boas práticas de cada tarefa human-in-the-loop na sua plataforma o quanto antes. Esses dados serão valiosíssimos para automações futuras.

O overfitting em LLMs não é um problema tão grande quanto dizem. Aqui estão minhas apostas para 2026:

Pense em como aprendemos. O sistema de notas escolar é o próprio exemplo de aprendizado com overfitting. Ensinamos de forma ultra específica, esperando que os alunos apliquem técnicas exatas em uma prova. Seguimos esse padrão por pelo menos 15 anos de nossas vidas.

A expectativa é que, ao repetir as mesmas fórmulas, algumas pessoas eventualmente descubram como aprender de verdade e encontrem os métodos que funcionam para elas, seja cantando uma fórmula matemática ou reescrevendo o quadro três vezes.

A humanidade quase sempre ensinou e aprendeu dessa forma. É praticamente impossível evitar overfitting na IA quando nós mesmos ainda não descobrimos uma abordagem melhor para nós.

Esse aprendizado focado em overfitting nos trouxe uma sociedade de funções especializadas, e o mesmo vai acontecer com a IA. Se eu tivesse que apostar em algo para 2026, seria no avanço dos modelos especializados.

Os modelos não vão apenas crescer; eles ficarão menores e altamente especializados em tarefas ou técnicas específicas. Se uma atividade tiver alta demanda pela comunidade, certamente haverá um modelo dedicado a ela.

Veja alguns exemplos:

• Especialistas em Chat: O caso mais evidente. Veremos modelos com ações pré-programadas e altíssima precisão focados em Vendas ou Sucesso do Cliente.
• Resolvedores de Avaliações: Com benchmarks para IA e humanos se tornando comuns, teremos modelos especialistas projetados para resolver diversos tipos de questões, combinando imagens, matemática complexa e lógica de múltipla escolha.
• Revisores de IA: Hoje somos bombardeados por análises de tudo: filmes, placas de circuito, smartphones. A IA consegue executar isso com maestria, desde que receba o contexto e o direcionamento corretos para gerar uma crítica de alto nível.

Em quais outras áreas você acha que a IA vai se especializar?

Sempre vi a Campus Code como uma grande referência e uma fonte constante de aprendizado. Hoje, tive o orgulho de ser mencionado por eles! Cada artigo do blog e cada publicação sempre me trouxeram clareza e aprendizados valiosos para a minha carreira. Esse destaque só reforça a admiração que tenho pelo trabalho e pelo impacto enorme que vocês geram na comunidade de desenvolvimento, muito além das salas de aula.

Gratidão demais!

Controlar GenAI é difícil. Não existe um manual para isso.

É exatamente isso que torna a área tão empolgante. O desafio é encontrar soluções criativas e não óbvias para problemas totalmente novos. As empresas que dominarem essa engenharia vão liderar a próxima era da tecnologia.

Indo além dos ganhos de produtividade, a oportunidade real está em criar modelos de negócios totalmente inéditos alimentados por IA confiável.

Se você está desenvolvendo funcionalidades em GenAI, o ActiveGenie foi feito para te ajudar a chegar lá. Mande uma mensagem, fico sempre feliz em trocar ideias e apoiar outros devs nessa jornada.

O Ano dos Agentes é para quem não é da área técnica. Eu estou esperando pelo Ano dos Dados Não Estruturados.

Estamos vivendo o chamado "Ano dos Agentes", e o mercado está impressionado com o que eles conseguem fazer. Criar páginas web, desenvolver aplicações e conectar APIs são tarefas que os agentes executam com facilidade.

Com isso, pessoas sem histórico técnico conseguem realizar muito mais do que antes, o que justifica o volume de investimentos e o entusiasmo em torno disso. Mas quem promove esse hype esqueceu dois pontos fundamentais:

• Primeiro: agentes não estão fazendo nada que um desenvolvedor já não soubesse fazer. Essa sensação de que "tudo é possível" é a nossa rotina diária como devs, e é por isso que tantos desenvolvedores viram fundadores de startups.
• Segundo: se não-devs conseguem fazer mais agora, os desenvolvedores conseguem ir ainda mais longe. Não por causa dos agentes em si, mas pela simplicidade que conquistamos para trabalhar com dados não estruturados.

Se já estamos no Ano dos Agentes, imagine o que vai acontecer quando descobrirem o volume absurdo de dados não estruturados disponíveis e o potencial gigante dessa combinação.

Estou pronto para essa fase. Vamos construir esse futuro juntos!