CÓMO FUNCIONA Y EN QUÉ CONSISTE
#1
by
RAMONMINANA
- opened
RESULTA RIDICULO, LO SÉ.
PERO ¿ALGUIEN ME PUEDE DECIR CÓMO FUNCIONA Y EN QUÉ CONSISTE ESTO?
GRACIAS
¡Por supuesto! Los modelos de embeddings como el nuestro son herramientas muy útiles en el procesamiento del lenguaje natural.
Verás, funciona así:
- Este modelo convierte texto (frases o párrafos) en vectores numéricos de 1024 dimensiones. Estos vectores capturan el significado semántico del texto.
- Procesa este texto a través de una red neuronal entrenada.
- Genera un vector de 1024 números que representa el significado del texto en números
¿Y qué usos se le puede dar?
- Comparar textos: Textos con significados similares tendrán vectores parecidos.
- Búsqueda semántica: Encontrar textos relacionados conceptualmente.
- Clasificación de textos: Agrupar documentos por temas.
- Detección de paráfrasis: Identificar textos que dicen lo mismo de forma diferente.
.. (Por si quieres ampliar, detalles más avanzados)
- Está basado en el modelo BAAI/bge-m3, pero finetuneado para texto legal en español.
- Puede procesar hasta 8192 tokens (palabras o partes de palabras) a la vez.
- Utiliza la similitud del coseno para comparar vectores.
Sé que me he alargado mucho pero... en resumen, es una herramienta poderosa para analizar y procesar texto en español, especialmente en contextos legales, permitiendo a los ordenadores "entender" y comparar el significado de los textos de manera más sofisticada.