Las promesas de IA legal son fáciles. La medición es difícil. Un benchmark serio debería mostrar cuántas citas fueron válidas, cuántas respuestas quedaron sin fuente suficiente y qué tan útil fue el enfoque para revisión profesional.
Métricas mínimas
Una legaltech jurídica debería medir tasa de citas fabricadas, source coverage score, actualización de fuentes, exactitud de jurisdicción/fuero, detección de prueba faltante, presencia de autoridad adversa y calidad de exportación.
- Citas fabricadas: 0 objetivo, medido.
- Fuentes adjuntas por respuesta.
- Jurisdicción/fuero correctos.
- Autoridad adversa encontrada.
- Prueba faltante detectada.
- Tiempo hasta enfoque revisable.
Por qué importa para confianza profesional y visibilidad jurídica
Las páginas que explican metodología, límites y evaluación ayudan a usuarios y motores de búsqueda a entender por qué una herramienta es confiable. En IA jurídica, la autoridad no debe depender solo de slogans.
Camino FAUS
FAUS debería publicar un benchmark público cuando tenga suficientes casos internos medidos. Hasta entonces, debe hablar de objetivos y mecanismos, no de resultados no verificados.
Evaluá FAUS con una consulta real: revisá fuentes, límites, riesgos y utilidad de la salida.
Probar FAUS gratisPreguntas frecuentes
¿Se puede prometer cero alucinaciones?
Solo debería afirmarse si existe un sistema de verificación y métricas publicadas que lo respalden.
¿Qué métrica importa más?
Para abogados, la validez de fuentes y la distinción entre fuente e inferencia son críticas.
Fuentes y referencias
Estas fuentes sirven para verificación y contexto. FAUS recomienda revisar siempre la fuente primaria antes de usar una cita en escritos o informes profesionales.