# IA en local

## <mark style="color:red;">Ejecución de IAs en local</mark>

### **Hugging Face Transformers + TRL**

* **Características**:
  * Framework completo para entrenamiento e inferencia.
  * Compatibilidad con la mayoría de modelos open-source.
  * Amplia documentación y comunidad activa.
* **Entrenamiento**: Soporta fine-tuning supervisado, RLHF, LoRA, QLoRA.
* **Interfaz**: Gradio para crear UIs web rápidamente.
* **Requisitos**: Más técnicos, requiere conocimiento de PyTorch/Python.

<https://huggingface.co/docs/trl/index>

<https://github.com/huggingface/smol-course>

### **LMStudio**

* **Características**:
  * Interfaz gráfica amigable.
  * Entrenamiento e inferencia en un solo lugar.
* **Entrenamiento**: Fine-tuning con datos personalizados.
* **Interfaz**: UI gráfica integrada.
* **Limitaciones**: Menos personalizable que soluciones basadas en código.

Cuenta con una gran biblioteca de modelos y distintas características de hardware.

Se pueden descargar y ejecutar modelos ligeros o más avanzados. Dependiendo de eso, el resultado y velocidad de respuesta será mejor o peor.

{% hint style="warning" %}
Los modelos ligeros que se adaptan a portátiles sin grandes requerimientos de hardware, aunque solo realizan tareas muy sencillas, con poco contexto por chat y resultados que requieren mayor revisión que otros modelos.
{% endhint %}

<https://lmstudio.ai/>

{% embed url="<https://lmstudio.ai/docs/app/offline>" %}


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://www.xtormin.com/general/ia/ia-en-local.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.