IA en local

Ejecución de IAs en local

Hugging Face Transformers + TRL

• Características:

  • Framework completo para entrenamiento e inferencia.

  • Compatibilidad con la mayoría de modelos open-source.

  • Amplia documentación y comunidad activa.

• Entrenamiento: Soporta fine-tuning supervisado, RLHF, LoRA, QLoRA.

• Interfaz: Gradio para crear UIs web rápidamente.

• Requisitos: Más técnicos, requiere conocimiento de PyTorch/Python.

https://huggingface.co/docs/trl/index

https://github.com/huggingface/smol-course

LMStudio

• Características:

  • Interfaz gráfica amigable.

  • Entrenamiento e inferencia en un solo lugar.

• Entrenamiento: Fine-tuning con datos personalizados.

• Interfaz: UI gráfica integrada.

• Limitaciones: Menos personalizable que soluciones basadas en código.

Cuenta con una gran biblioteca de modelos y distintas características de hardware.

Se pueden descargar y ejecutar modelos ligeros o más avanzados. Dependiendo de eso, el resultado y velocidad de respuesta será mejor o peor.

Los modelos ligeros que se adaptan a portátiles sin grandes requerimientos de hardware, aunque solo realizan tareas muy sencillas, con poco contexto por chat y resultados que requieren mayor revisión que otros modelos.

https://lmstudio.ai/

Offline Operation | LM Studio DocsLM Studio - Docs