--- library_name: transformers tags: - unsloth - LLMs-Aviation - AI-Regulatory-Compliance - RAC-AI-Colombia license: apache-2.0 datasets: - somosnlp/ColombiaRAC_FullyCurated language: - es widget: - text: > system\n\nYou are a helpful AI assistant.\n\nResponde en formato json.\n\nEres un agente experto en la normativa aeronautica Colombiana.\n\nuser\n\n¿Qué sucede con las empresas de servicios aéreos comerciales que no hayan actualizado su permiso de operación después del 31 de marzo de 2024?\n\nmodel --- # GemmaColRAC-AeroExpertV4 🛫 ## Trained from the RAC Colombia dataset 🛫 Este documento proporciona una visión general de `GemmaColRAC-AeroExpertV4`, la cuarta versión de nuestro modelo de lenguaje especializado en regulaciones aeronáuticas colombianas. Esta versión representa un avance importante gracias a la mejora en precisión y eficiencia en el uso de los recursos de GPU, destacando nuestro esfuerzo continuo por desarrollar tecnologías de IA sostenibles y de alta calidad para la industria aeronáutica.

Imagen relacionada con el Reglamento Aeronáutico Colombiano

## Hiperparámetros de Entrenamiento - **Tipo de GPU:** NVIDIA A100-SXM4-40GB - **Tiempo Total de Entrenamiento:** Aproximadamente 50 minutos (3007 segundos) - **Tasa de Aprendizaje:** 0.00005 - **Optimizador:** Paged AdamW 8bit - **Pasos Máximos:** 1638 - **Tamaño de Secuencia:** 2048 - **Tamaño de Lote por Dispositivo:** 1 - **Versión de Transformers:** 4.39.0 - **Función de Activación:** gelu_pytorch_tanh - **Framework de Optimización:** Unsloth 2024.4 ## Innovaciones en Eficiencia con Unsloth `GemmaColRAC-AeroExpertV4` integra [Unsloth](https://www.determined.ai/blog/weekly-update-7#:~:text=Unsloth%20is%20an%20open%20source,out%20our%20HF%20Trainer%20examples), un framework de optimización que mejora la eficiencia en el entrenamiento de modelos de IA. Unsloth ha permitido reducir significativamente el tiempo y los recursos de GPU requeridos, logrando un entrenamiento más rápido y ecológico. ## Comparación de Modelos La versión `GemmaColRAC-AeroExpertV4` muestra mejoras significativas sobre las versiones anteriores. La optimización en el uso de recursos, junto con la ampliación del tamaño de la secuencia, ha resultado en una mayor calidad y eficiencia del modelo. ## Resultados `GemmaColRAC-AeroExpertV4` ha demostrado una capacidad excepcional para comprender y generar contenido regulatorio aeronáutico en español, siendo un recurso valioso para la industria. ## Evaluación Para la evaluación de `GemmaColRAC-AeroExpertV4`, hemos habilitado plataformas para que expertos en el campo realicen pruebas. Visita: - [Evaluación de GemmaColRAC-AeroExpertV4](https://somosnlp-rac-col-v1.hf.space) ## Impacto Ambiental El desarrollo de `GemmaColRAC-AeroExpertV4` se ha llevado a cabo con un enfoque en la sostenibilidad, optimizando la eficiencia y minimizando el impacto ambiental. ## Más Información Para obtener más detalles sobre `GemmaColRAC-AeroExpertV4`, incluyendo acceso al modelo y sus capacidades completas, visita nuestro [repositorio en Hugging Face](https://huggingface.co/ejbejaranos/GemmaColRAC-AeroExpertV4).