LexBench BR: como medimos qualidade em IA jurídica

Toda empresa de IA jurídica afirma ser a melhor. Quase nenhuma mostra como mediu isso. O LexBench BR existe para mudar essa conversa: é um benchmark público, com rubricas auditáveis, que avalia modelos de inteligência artificial em 30 tarefas reais de direito brasileiro.

Por que benchmarks genéricos não servem para o direito brasileiro

Benchmarks internacionais de LLM medem raciocínio geral, matemática ou conhecimento de common law. Nenhum deles diz se o modelo calcula corretamente um prazo do CPC, identifica a tese de um repetitivo do STJ ou redige uma contestação no padrão forense brasileiro. Um modelo pode liderar rankings globais e ainda assim ser inútil para um escritório de advocacia no Brasil.

As 30 tarefas do LexBench BR

As tarefas foram desenhadas com advogados em exercício e cobrem o trabalho real de um escritório, distribuídas em categorias verificáveis:

• Jurisprudência: localizar e aplicar precedentes do STF, STJ e TST a um caso concreto.
• Cálculos: liquidação trabalhista, correção monetária e prazos processuais.
• Drafting: redação de petições, contestações, recursos e cláusulas contratuais.
• Prazos: contagem correta sob CPC e CLT, incluindo suspensões e feriados forenses.
• Análise documental: extração de fatos e riscos de contratos e processos.

Metodologia: rubricas auditáveis, não opinião

Cada tarefa tem uma rubrica objetiva: a resposta cita a fonte correta? O cálculo bate com o resultado de referência? A peça contém os requisitos legais obrigatórios? As pontuações são reproduzíveis: qualquer pessoa pode auditar o critério, e é por isso que o LexBench é aberto.

LexAI, Claude, GPT-4, Gemini e Harvey no mesmo teste

O LexBench compara a LexAI com modelos de fronteira (Claude, GPT-4, Gemini) e com ferramentas de IA jurídica estrangeiras como o Harvey. O padrão se repete: modelos genéricos vão bem em fluência e mal em fundamentação brasileira; ferramentas voltadas ao direito norte-americano não conhecem as fontes nacionais. A LexAI lidera justamente nas tarefas onde a âncora à fonte oficial brasileira é decisiva.

Publicar isso é desconfortável e proposital. Qualidade em IA jurídica só avança quando deixa de ser slogan e vira número auditável. O LexBench BR é o nosso compromisso com essa régua.