Leanstral 1.5: l'agente open-source di Mistral per dimostrazioni matematiche formali
6B parametri attivi, 100% su miniF2F, supera Opus 4.6 a 1/7 del costo. Apache 2.0, API gratuita, 5 bug inediti scoperti in repository Rust.
In sintesi
Mistral rilascia Leanstral 1.5: agente open‑source per proving con Lean 4, 100% su miniF2F, nuovi SOTA e costi molto inferiori ai closed-source. • Leanstral 1.5 raggiunge 100% su miniF2F, primo modello a saturare quel benchmark • Supera Opus 4.6 (43.2 vs 39.6) a 1/7 del costo; pass@2 costa 92× meno di Opus • Test‑time scaling su PutnamBench: risolve da 44 a 587 problemi aumentando token budget • Rilasciato con licenza Apache 2.0; pesi su Hugging Face e API gratuita via Mistral Vibe
Mistral AI ha rilasciato Leanstral 1.5, il primo modello open-source specializzato in dimostrazioni matematiche formali con Lean 4. Leanstral è un agente AI che opera direttamente nel filesystem, modifica codice, esegue comandi bash, e usa il compilatore Lean come verificatore perfetto. La versione 1.5 raggiunge il 100% su miniF2F e stabilisce un nuovo stato dell'arte su FATE-H/X, con un costo per problema drasticamente inferiore ai competitor closed-source.
Che cos'è Leanstral
Leanstral è un agente di coding specializzato in Lean 4, un proof assistant capace di esprimere oggetti matematici complessi e specifiche software. A differenza dei sistemi di proving esistenti che avvolgono modelli generalisti o si limitano a problemi matematici isolati, Leanstral è progettato per operare in repository formali reali, con un'architettura sparse da soli 6 miliardi di parametri attivi.
Il modello è rilasciato con licenza Apache 2.0 e disponibile come agente in Mistral Vibe, via API gratuita, e su Hugging Face.
Come funziona: architettura e training
Leanstral 1.5 passa attraverso tre fasi di training: mid-training, supervised fine-tuning e reinforcement learning con CISPO. Il modello opera in due ambienti RL:
- Ambiente multiturn: dato un teorema, Leanstral sottopone una dimostrazione, riceve feedback dal compilatore Lean e raffina l'approccio. Il ciclo continua finché la dimostrazione non compila o il budget si esaurisce.
- Ambiente code agent: Leanstral opera come uno sviluppatore in un filesystem reale — modifica file, esegue comandi bash, usa il language server Lean per ispezionare goal, errori e informazioni di tipo in tempo reale.
Architettura agentica
L'agente Leanstral non è un semplice modello di completamento: naviga repository, costruisce lemmi ausiliari, persiste attraverso multiple compactions di contesto e viene verificato da SafeVerify per la correttezza dati i teoremi target. Supporta MCP arbitrari tramite Vibe ed è stato specificamente addestrato per massime performance con lean-lsp-mcp.
Benchmark: risultati verificati
Leanstral 1.5 è valutato su cinque benchmark, dai problemi elementari alla ricerca di dottorato:
| Benchmark | Risultato Leanstral 1.5 | Note |
|---|---|---|
| miniF2F | 100% (validazione e test) | Primo modello a saturare completamente il benchmark |
| PutnamBench | 587 problemi (Pass@8, 4M token) | +7 vs Seed-Prover 1.5 high, a costo ~$4/problema vs ~$300+ |
| FATE-H | 87 problemi | Nuovo stato dell'arte |
| FATE-X (PhD-level) | 34 problemi | Nuovo stato dell'arte |
| FLTEval | 43.2 (Pass@8) | Supera Opus 4.6 (39.6) a 1/7 del costo |
Test-time scaling
Leanstral 1.5 mostra il miglior test-time scaling mai osservato per un modello di ragionamento formale. Su PutnamBench, passando da 50k a 4M token per tentativo, le performance crescono monotonamente: 44 → 244 → 493 → 587 problemi risolti. Anziché arrendersi, Leanstral continua a ragionare, modificare file e revisionare attraverso milioni di token.
Case study: codice e bug discovery
Oltre alla matematica pura, Leanstral 1.5 eccelle nella verifica del codice:
AVL Trees — Complessità temporale provata
Leanstral ha dimostrato le garanzie di complessità O(log n) per un'implementazione reale di alberi AVL. Il processo ha richiesto 2.7 milioni di token attraverso 22 compactions, con induzione strutturale per rispecchiare la struttura ricorsiva dell'albero, gestione attenta del tracciamento del tempo monadico, e analisi esaustiva dei casi per i percorsi di ribilanciamento.
Bug Discovery — 11 bug trovati, 5 inediti
Una pipeline automatica ha tradotto codice Rust in Lean con Aeneas, generato proprietà di correttezza, e tentato di dimostrarle. Su 57 repository testati: 47 proprietà violate, 11 bug genuini, 5 precedentemente non segnalati su GitHub. Un esempio: overflow nella funzione sign per decodifica zigzag nella libreria datrs/varinteger — `Std.U64.MAX + 1` causava crash in debug mode e corruzione silenziosa in release.
Efficienza economica
Rispetto ai competitor closed-source, Leanstral offre un rapporto qualità-prezzo straordinario:
| Modello | Costo ($) | Punteggio FLTEval |
|---|---|---|
| Leanstral (pass@1) | $18 | 21.0 |
| Leanstral (pass@2) | $36 | 26.3 |
| Claude Sonnet | $549 | 23.7 |
| Claude Opus 4.6 | $1,650 | 39.6 |
| Leanstral 1.5 (pass@8) | ~$230 | 43.2 |
Leanstral 1.5 supera Opus 4.6 (43.2 vs 39.6) a un settimo del costo. E costa 92 volte meno di Opus per il pass@2.
Disponibilità
Leanstral 1.5 è disponibile ora:
- Licenza Apache 2.0 — pesi su Hugging Face
- API gratuita come modello
leanstral-1-5 - Mistral Vibe — integrazione nativa
- Setup:
uv tool install mistral-vibe && vibe --setup
La valutazione di Velthub
Voto: 8.2/10
Leanstral 1.5 è un rilascio notevole per tre motivi. Primo, è il primo agente open-source (Apache 2.0) specializzato in proving formale — non un wrapper ma un modello addestrato nativamente. Secondo, l'efficienza economica è straordinaria: performance superiori a Opus 4.6 a 1/7 del costo. Terzo, la pipeline di bug discovery dimostra applicabilità immediata al codice reale, non solo alla matematica astratta.
Punti di forza (verificati):
- 100% su miniF2F — saturazione completa del benchmark
- Supera Opus 4.6 su FLTEval (43.2 vs 39.6) a 1/7 del costo
- Architettura agentica reale: opera nel filesystem, esegue comandi, interagisce con Lean LSP
- 5 bug inediti scoperti su repository Rust reali
- Apache 2.0 + API gratuita — accessibilità totale
- Test-time scaling monotono su 3 ordini di grandezza di token
Limitazioni (verificate):
- Dominio specifico (Lean 4/matematica formale) — non è un modello general-purpose
- PutnamBench 587/672 = 87% — non satura il benchmark più difficile
- Richiede infrastruttura Lean per funzionare (non standalone)
- Performance su codice generico (non Rust→Lean) non misurate
Domande frequenti
Leanstral è solo per matematica?
No. La pipeline di bug discovery ha trovato 11 bug in repository Rust reali, dimostrando che Leanstral è applicabile alla verifica del codice di produzione, non solo a problemi matematici astratti.
Quanto costa usare Leanstral?
L'API è gratuita. I pesi sono Apache 2.0, quindi puoi eseguirlo localmente senza costi di API. Su FLTEval, il costo per run è ~$18 (pass@1).
Come si confronta con Claude Opus per proving?
Su FLTEval, Leanstral 1.5 supera Opus 4.6 (43.2 vs 39.6) a circa 1/7 del costo. Su costi assoluti: Leanstral pass@2 costa $36 e batte Sonnet ($549).
Quanti parametri ha Leanstral?
6 miliardi di parametri attivi (architettura sparse). È efficiente per design, non un modello gigante.
Posso usare Leanstral in Vibe?
Sì. Installa Mistral Vibe con uv tool install mistral-vibe, poi configura l'API key e seleziona il modello leanstral-1-5.
Cosa non sappiamo ancora
- Performance su benchmark di proving non-Lean (Coq, Isabelle, Agda)
- Scalabilità a repository industriali con milioni di linee di codice
- Generalizzazione a linguaggi di programmazione oltre Rust
- Costo di esecuzione locale su hardware consumer (6B attivi dovrebbe essere gestibile)
https://velthub.ai/blog/leanstral-1-5-proof-assistant-open-source-mistral