IA en local

Hugging Face Transformers + TRL

  • Características:

    • Framework completo para entrenamiento e inferencia.

    • Compatibilidad con la mayoría de modelos open-source.

    • Amplia documentación y comunidad activa.

  • Entrenamiento: Soporta fine-tuning supervisado, RLHF, LoRA, QLoRA.

  • Interfaz: Gradio para crear UIs web rápidamente.

  • Requisitos: Más técnicos, requiere conocimiento de PyTorch/Python.

https://huggingface.co/docs/trl/index

https://github.com/huggingface/smol-course

LMStudio

  • Características:

    • Interfaz gráfica amigable.

    • Entrenamiento e inferencia en un solo lugar.

  • Entrenamiento: Fine-tuning con datos personalizados.

  • Interfaz: UI gráfica integrada.

  • Limitaciones: Menos personalizable que soluciones basadas en código.

Cuenta con una gran biblioteca de modelos y distintas características de hardware.

Se pueden descargar y ejecutar modelos ligeros o más avanzados. Dependiendo de eso, el resultado y velocidad de respuesta será mejor o peor.

https://lmstudio.ai/

Última actualización

¿Te fue útil?