Cómo montar tu servidor de IA local con Ollama y Open WebUI

Montar tu propio servidor de IA local es más accesible de lo que piensas. Con Ollama y Open WebUI, puedes tener un asistente de IA privado y gratuito funcionando en tu red en minutos, sin depender de una API externa ni pagar por token consumido. Esta guía paso a paso te muestra cómo hacerlo.

Requisitos previos

• Un sistema Linux (Ubuntu/Debian recomendado) o Windows con WSL2
• Docker instalado
• Al menos 16GB de RAM recomendados (8GB mínimo)
• Mínimo 10GB de espacio en disco
• GPU NVIDIA opcional (para mejor rendimiento)

1. Instala Docker

Vamos a usar Docker porque empaqueta Ollama y Open WebUI con todas sus dependencias, evitando conflictos con otras librerías que ya tengas instaladas en el sistema. Si no tienes Docker instalado, ejecuta:

sudo apt update && sudo apt install -y docker.io docker-compose
sudo usermod -aG docker $USER

Reinicia la terminal o ejecuta newgrp docker para aplicar los cambios de grupo sin cerrar sesión.

2. Instala Ollama

Ahora instalamos Ollama, el motor que se encarga de descargar y ejecutar los modelos de lenguaje localmente:

curl -fsSL https://ollama.com/install.sh | sh

3. Configura Open WebUI con Docker

Open WebUI es la interfaz web que te va a permitir chatear con los modelos sin usar la línea de comandos. La conectamos a Ollama definiendo ambos servicios en un mismo archivo, para que arranquen juntos y se hablen entre sí automáticamente. Crea un archivo docker-compose.yml:

version: '3.8'
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    volumes:
      - ./data:/app/data
    depends_on:
      - ollama
    restart: unless-stopped

  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama:/root/.ollama
    restart: unless-stopped

volumes:
  ollama:

4. Levanta los servicios

Con el archivo listo, este comando descarga las imágenes y arranca los dos contenedores en segundo plano:

docker-compose up -d

5. Entra a la interfaz web

Abre tu navegador y ve a http://localhost:3000. Crea tu cuenta (queda guardada solo en tu servidor, nadie más tiene acceso) y ya puedes empezar a usar tu servidor de IA local.

6. Descarga un modelo

En la interfaz de Open WebUI, selecciona "Ollama" como proveedor y elige un modelo como llama3:8b o mistral:7b. El sistema lo descarga automáticamente desde Ollama la primera vez que lo uses — después queda guardado localmente y no vuelve a descargarlo.

Consejos finales

• Para GPUs NVIDIA, instala los controladores y el NVIDIA Container Toolkit para mejor rendimiento.
• Los modelos más grandes (70B) requieren más RAM y más tiempo de carga.
• Puedes acceder a tu servidor desde otros dispositivos en tu red usando la IP del servidor: http://[IP_DEL_SERVIDOR]:3000.

Dónde correr esto de forma permanente

Todo lo anterior funciona en tu computador personal, pero solo mientras esté encendido. Si quieres que tu asistente de IA esté disponible 24/7 —para ti o para tu equipo, desde cualquier lugar— necesitas un servidor que no se apague. En NAP Latino tenemos VPS y VDS con el control root y los recursos dedicados que este stack necesita para correr de forma estable y permanente.

¡Listo! Ahora tienes un servidor de IA privado y completamente bajo tu control.