Alhelí‑Docs‑Ecuador: Adaptador LoRA para Redacción de Documentos Legales Ecuatorianos

LESAI Corporation — USA, Los Angeles Research Division

Abstract

Presentamos un adaptador LoRA (Low‑Rank Adaptation) entrenado para reforzar la generación de documentos legales en español ecuatoriano sobre la base Llama 3.3 70B Instruct. El adaptador, denominado Alhelí‑Docs‑Ecuador, fue ajustado con ~3 millones de tokens derivados de ~2 500 pares de Q&A y plantillas legales curadas por abogados locales. En una evaluación pilot con revisión humana, observamos una mejora relativa de ~35% en un puntaje compuesto de calidad de redacción jurídica frente al modelo base. El sistema está orientado exclusivamente a redacción legal en español y debe utilizarse junto a un sistema RAG con legislación vigente para mitigar alucinaciones y garantizar actualidad normativa.

1. Introducción

Los modelos de lenguaje de gran tamaño (LLM) han demostrado capacidad para generar texto de alta calidad; sin embargo, su aplicación fiable en dominios regulados exige adaptación especializada y controles de verificación. Las técnicas de ajuste eficiente en parámetros (PEFT), como LoRA y QLoRA, permiten especializar modelos fundacionales con costos de cómputo manejables. Complementariamente, la recuperación aumentada (RAG) reduce la dependencia de memoria paramétrica y mitiga desactualización normativa.

En este trabajo presentamos Alhelí‑Docs‑Ecuador, un adaptador LoRA para Llama 3.3 70B Instruct enfocado en redacción jurídica ecuatoriana. Nuestros aportes: (i) un conjunto curado de pares Q&A y plantillas con framing jurídico local, (ii) un adaptador ajustado con ventana efectiva de 32 K tokens (el modelo base soporta hasta 132 K), y (iii) un protocolo de evaluación humana y automática orientado a calidad formal, alineación normativa y tasa de alucinación.

2. Trabajo relacionado

La adaptación eficiente con LoRA y QLoRA ha habilitado el ajuste de LLMs de decenas de miles de millones de parámetros con recursos acotados. El ecosistema PEFT estandariza estas técnicas en Transformers. En el ámbito legal existen benchmarks como LegalBench y LexGLUE, pero la redacción conforme a ley local requiere rúbricas regionales y evaluación humana. La integración con RAG es una práctica recomendada para bases normativas dinámicas.

3. Datos y curación

Fuentes y volumetría. ~3 M tokens a partir de ~2 500 ejemplos: plantillas (contratos, oficios, escritos) y pares Q&A auditados por abogados ecuatorianos. Preprocesamiento. Normalización ortográfica, limpieza de boilerplates, anonimización de PII, control terminológico (órganos, denominaciones de códigos y leyes). Partición. 80% entrenamiento, 10% validación, 10% prueba; estratificación por tipo documental y módulo (p. ej., contratos civiles, escritos administrativos). Consideraciones legales. El dataset excluye asesoría personalizada y no sustituye el criterio profesional. Se recomienda RAG con fuentes oficiales (Registro Oficial, Corte Constitucional, etc.).

4. Metodología

4.1. Modelo base y contexto

Base: Llama 3.3 70B Instruct (capacidad hasta 132 K tokens). El adaptador se afinó con secuencias hasta 32 K para equilibrar rendimiento y costo, optimizando documentos de longitud moderada.

4.2. Ajuste LoRA/PEFT

Inyección LoRA en proyecciones q/k/v/o de atención y en gate del MLP. Configuración de referencia (reproducible en A100/H100):

r = 16, alpha = 32, lora_dropout = 0.05
AdamW (β1 = 0.9, β2 = 0.95, wd = 0.1)
LR pico 1e-4 con cosine decay y 2 K warmup
Longitud máx. de entrada 8 K–32 K
Batch efectivo ≈ 256 K tokens/paso (acumulación)
2–3 épocas (~100–150 pasos/época)

Nota. Esta receta representa parámetros recomendados; el artefacto publicado se entrenó dentro de estos rangos.

4.3. Instruccionado y formato

Prompts estilo chat (sistema/usuario/asistente) con guardrails de redacción (registro formal, citas opcionales, hedging ante vacío normativo) y señales para razonamiento latente sin fuga textual.

4.4. Inferencia y despliegue

Artefacto PEFT (.safetensors) cargado sobre el modelo base con Transformers y peft. Para producción, sugerimos vLLM o TGI con paginación de KV‑cache y cuantización 4/8 bits, manteniendo controles de RAG (§6).

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "meta-llama/Llama-3.3-70B-Instruct"
adapter = "fonles-studios/alheli-docs-experimental-70b"  # ruta del adaptador
tok = AutoTokenizer.from_pretrained(base)
mdl = AutoModelForCausalLM.from_pretrained(base, device_map="auto")
mdl = PeftModel.from_pretrained(mdl, adapter)  # aplica LoRA

5. Evaluación

5.1. Métricas y protocolo

Evaluamos: (i) Calidad formal (estructura, ortotipografía, estilo jurídico), (ii) Alineación normativa (referencias, adecuación de cláusulas), (iii) Tasa de alucinación, (iv) Adecuación contextual. Score compuesto (0–100) ponderado 0.4/0.3/0.2/0.1. Complementamos con ROUGE‑L y BERTScore como proxies de similitud.

5.2. Resultados (pilot)

Modelo	Score compuesto	ROUGE‑L	Tasa de aluc. (%)
Llama 3.3 70B Instruct	58.4	0.41	13.7
Alhelí‑Docs‑Ecuador (LoRA)	78.8	0.49	7.9

5.3. Ablaciones

Degradación al remover señales de formato (instruccionado); mejora al activar verificación citacional en la capa RAG (umbral de concordancia léxica).

6. Integración RAG y control de alucinaciones

Recomendamos RAG con: (i) índice de legislación (leyes, reglamentos, resoluciones) y metadatos de vigencia; (ii) recuperación híbrida (BM25 + embeddings) con filtros por jurisdicción/fecha; (iii) re‑ranking jurimétrico; (iv) grounding estricto (citar y adjuntar pasajes relevantes; abstenerse sin soporte). Ventanas 1–3 K tokens, k = 5–8 documentos, plantilla de justificación breve.

7. Riesgos, salvaguardas y uso responsable

No sustituye asesoría profesional ni garantiza actualidad normativa. Posibles sesgos estilísticos u omisiones derivan de la curación. Implementamos avisos, rate‑limits, filtros PII y kill‑switch. Recomendamos auditorías periódicas y red‑teaming temático (laboral, penal, administrativo).

8. Limitaciones

(i) Especialización en Ecuador; transferencia a otras jurisdicciones no garantizada. (ii) Ventana efectiva 32 K; documentos extensos pueden requerir partición. (iii) Métricas automáticas no capturan plenamente la calidad jurídica; se requiere evaluación humana. (iv) Tamaño muestral pilot moderado.

9. Impacto computacional

El enfoque PEFT evita reajustar 70 B parámetros completos; el adaptador agrega ≪1% de los parámetros del modelo base (dependiente de r). Cuantización y KV‑caching permiten latencias operativas. Recomendamos batching y límites de contexto pragmáticos (8–16 K) en la mayoría de flujos.

10. Reproducibilidad y disponibilidad

El adaptador está disponible como artefacto PEFT (.safetensors). Repositorio del modelo: Hugging Face. Para producción, integrar recuperador con filtros de vigencia y justificar salidas con citas.

11. Conclusiones

Un adaptador LoRA enfocado y curado con datos locales puede elevar sustancialmente la calidad de redacción en el dominio legal ecuatoriano con costos controlados. La combinación con RAG es clave para confiabilidad normativa. Trabajo futuro: ampliar evaluación, reforzar citation grounding y explorar ajuste por preferences con revisores humanos.

Agradecimientos

A la comunidad jurídica que colaboró en la curación de datos y a los equipos de ingeniería y producto de LESAI Corporation.

Cómo citar

@misc{lesai2025alheli_docs_ecuador,
  title        = {Alhelí‑Docs‑Ecuador: Adaptador LoRA para Redacción de Documentos Legales Ecuatorianos},
  author       = {LESAI Corporation},
  year         = {2025},
  howpublished = {Sitio web de LESAI Corporation},
  note         = {Adaptador LoRA (PEFT) para Llama 3.3 70B Instruct; recomendado su uso con RAG.}
}

Referencias

Hu, E. J., Shen, Y., Wallis, P., Allen‑Zhu, Z., Li, Y., Wang, S., Wang, L., & Chen, W. (2021). LoRA: Low‑Rank Adaptation of Large Language Models. arXiv:2106.09685. arXiv
Dettmers, T., Pagnoni, A., Holtzman, A., & Zettlemoyer, L. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. arXiv:2305.14314. arXiv
Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W‑T., Rocktäschel, T., Riedel, S., & Kiela, D. (2020). Retrieval‑Augmented Generation for Knowledge‑Intensive NLP. arXiv:2005.11401. arXiv
Hugging Face (2022‑). PEFT: Parameter‑Efficient Fine‑Tuning. GitHub · Docs

BibTeX

@article{hu2021lora,
  title   = {LoRA: Low-Rank Adaptation of Large Language Models},
  author  = {Hu, Edward J. and Shen, Yelong and Wallis, Phillip and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Shean and Wang, Lu and Chen, Weizhu},
  journal = {arXiv preprint arXiv:2106.09685},
  year    = {2021}
}

@article{dettmers2023qlora,
  title   = {QLoRA: Efficient Finetuning of Quantized LLMs},
  author  = {Dettmers, Tim and Pagnoni, Artidoro and Holtzman, Ari and Zettlemoyer, Luke},
  journal = {arXiv preprint arXiv:2305.14314},
  year    = {2023}
}

@article{lewis2020rag,
  title   = {Retrieval-Augmented Generation for Knowledge-Intensive NLP},
  author  = {Lewis, Patrick and Perez, Ethan and Piktus, Aleksandra and Petroni, Fabio and Karpukhin, Vladimir and Goyal, Naman and Küttler, Heinrich and Lewis, Mike and Yih, Wen-tau and Rocktäschel, Tim and Riedel, Sebastian and Kiela, Douwe},
  journal = {arXiv preprint arXiv:2005.11401},
  year    = {2020}
}

@software{huggingface_peft_2022,
  title        = {PEFT: Parameter-Efficient Fine-Tuning},
  author       = {Hugging Face},
  year         = {2022},
  howpublished = {https://github.com/huggingface/peft}
}

Correspondencia: research@lesai.com Afiliación: LESAI Corporation — Research Division, USA (Los Angeles) Fecha de publicación: Octubre 2025

Alhelí‑Docs‑Ecuador: Adaptador LoRA para Redacción de Documentos Legales Ecuatorianos sobre Llama 3.3 70B Instruct