Benchmark LoCoMo
Los números, sin retocar.
Cada motor medido con Qwen3-8B corriendo en local como contestador y como juez — el mismo rasero para todos, así que el cara a cara es justo. Estos números no son comparables con los leaderboards oficiales de mem0 o Zep, que usan GPT-4o. Lo que esto mide es cómo se comporta cada memoria frente a las demás en condiciones idénticas.
Resultados completos
LoCoMo · 1.986 preguntas · precisión, juzgado por LLM
| Categoría | Qué mide | Corvusmemgratis · offline | Embedding e5gratis · base vectorial | mem0de pago · cloud |
|---|---|---|---|---|
| Un salto282 | Búsqueda directa de un hecho | 23.0% | 30.5% | 25.2% |
| Temporal321 | Fechas y orden | 16.2% | 17.4% | 5.3% |
| Multi-salto96 | Cruce de hechos | 17.7% | 24.0% | 17.7% |
| Dominio abierto841 | Hecho + sentido común | 41.6% | 44.7% | 35.0% |
| Adversarial446 | Saber cuándo decir «no lo sé» | 5.6% | 3.4% | 4.7% |
| Global | ponderado, todas las categorías | 25.6% | 28.0% | 21.1% |
La negrita marca la mejor puntuación de cada fila. Embedding e5 gana en casi todas las categorías, pero necesita una base de datos vectorial para funcionar. Corvusmem es gratis, offline y sin servidor, gana sin discusión en las preguntas adversariales (saber cuándo abstenerse) y casi duplica a mem0 en razonamiento temporal — lo ves abajo.
Donde saca ventaja · razonamiento temporal (cat2)
16.2%
Corvusmem
5.3%
mem0
+206% vs mem0
Corvusmem guarda cada hecho con su fecha explícita y su contexto temporal. Por eso casi duplica a mem0 cuando una pregunta depende de cuándo pasó algo — el tipo de recuerdo que necesitan los agentes de larga duración, no solo qué pasó.
Huella de contexto
No infla tu contexto
La precisión es un eje. El otro es lo que la memoria le cuesta a la ventana de contexto de tu agente en cada turno. La huella de Corvusmem está acotada: un tope duro de cinco hechos por mensaje la mantiene plana tengas diez hechos guardados o diez mil — O(1), no O(n).
413
tokens/mensaje (mediana) con 10 hechos guardados
413
tokens/mensaje (mediana) con 10.000 hechos guardados
0
tokens de API — sin embeddings, sin red, nada sale de tu máquina
Medido con el código de recuerdo real de Corvusmem y el tokenizer o200k_base: ~423 tokens en el percentil 95 por mensaje, ~363–477 una vez por sesión al arrancar. Una memoria con embeddings inyecta pasajes recuperados más grandes y gasta tokens de API para hacerlo; Corvusmem inyecta hechos cortos y acotados, y no gasta ninguno.
Reprodúcelo desde el repo de Corvusmem · determinista, offline
Metodología
El mismo rasero para todos
Un solo modelo local, Qwen3-8B, responde cada pregunta usando el recuerdo de cada memoria, y el mismo modelo juzga cada respuesta. Ningún motor tiene un juez más fuerte que otro. Eso es lo que hace justa la comparación — y lo que la hace incomparable con los leaderboards puntuados con GPT-4o.
El dataset
LoCoMo: 1.986 preguntas sobre conversaciones largas de varias sesiones, repartidas en cinco categorías. La precisión es la proporción de preguntas que cada motor responde bien, según el juez. No se descarta ni se re-pondera nada a tu favor.
Una nota sobre Zep / Graphiti
Correr Zep sobre el dataset completo en local no era viable, así que solo tenemos una muestra de una conversación (conv-1). No es un resultado de dataset completo y se mantiene aparte para que nunca se mezcle con la tabla de arriba.
Solo muestra · conv-1
| Corvusmem | 28.2% |
|---|---|
| Embedding e5 | 30.3% |
| mem0 | 14.9% |
| Zep / Graphiti | 18.5% |
Reprodúcelo
La tabla de arriba no está escrita a mano — se genera desde los ficheros de resultados en crudo. Desde la raíz del repo, apunta el script de comparación a los tres juegos de resultados y obtienes exactamente los mismos números:
Fuente de verdad: los ficheros en crudo resultados-e2e-locomo-*.json y BENCHMARK.md en el repo del motor.