# IA en local

## <mark style="color:red;">Ejecución de IAs en local</mark>

### **Hugging Face Transformers + TRL**

* **Características**:
  * Framework completo para entrenamiento e inferencia.
  * Compatibilidad con la mayoría de modelos open-source.
  * Amplia documentación y comunidad activa.
* **Entrenamiento**: Soporta fine-tuning supervisado, RLHF, LoRA, QLoRA.
* **Interfaz**: Gradio para crear UIs web rápidamente.
* **Requisitos**: Más técnicos, requiere conocimiento de PyTorch/Python.

<https://huggingface.co/docs/trl/index>

<https://github.com/huggingface/smol-course>

### **LMStudio**

* **Características**:
  * Interfaz gráfica amigable.
  * Entrenamiento e inferencia en un solo lugar.
* **Entrenamiento**: Fine-tuning con datos personalizados.
* **Interfaz**: UI gráfica integrada.
* **Limitaciones**: Menos personalizable que soluciones basadas en código.

Cuenta con una gran biblioteca de modelos y distintas características de hardware.

Se pueden descargar y ejecutar modelos ligeros o más avanzados. Dependiendo de eso, el resultado y velocidad de respuesta será mejor o peor.

{% hint style="warning" %}
Los modelos ligeros que se adaptan a portátiles sin grandes requerimientos de hardware, aunque solo realizan tareas muy sencillas, con poco contexto por chat y resultados que requieren mayor revisión que otros modelos.
{% endhint %}

<https://lmstudio.ai/>

{% embed url="<https://lmstudio.ai/docs/app/offline>" %}