emap Labs: benchmark de búsqueda en euskera
emap Labs es un benchmark abierto de búsqueda geográfica en euskera y castellano, con DOI 10.5281/zenodo.21282784. Si el buscador se inventa la respuesta, suspende.
La capa de datos e IA de emap, publicada con DOI. Corpus dorado de 139 búsquedas hiperlocales sobre 22 capas, held-out estricto y casos de abstención: si el buscador se inventa la respuesta, suspende.
El hallazgo que no esperaba: la brecha del euskera no era del idioma, era del modelo. Con MiniLM la etapa semántica apenas aportaba nada en euskera; al cambiar a multilingual-e5-large el held-out en castellano subió del 58% al 73% y el euskera del 63% al 71%. El euskera del corpus se escribe y se coteja con Itzuli, el traductor del Gobierno Vasco — no es traducción automática sin revisar.
- DOI citable: 10.5281/zenodo.21282784
- 22 capas y 27.515 puntos de interés de Euskadi, versionados
- Primer servidor MCP de movilidad hiperlocal, con 5 herramientas
- Evals en CI con gates de regresión en cada push