Cómo montar tu servidor de IA local con Ollama y Open WebUI

Montar tu propio servidor de IA local es más accesible de lo que piensas. Con Ollama y Open WebUI, puedes tener un asistente de IA privado y gratuito funcionando en tu red local en minutos. Esta guía paso a paso te mostrará cómo hacerlo.

Requisitos previos

• Un sistema Linux (Ubuntu/Debian recomendado) o Windows con WSL2
• Docker instalado
• Al menos 16GB de RAM recomendados (8GB mínimo)
• Mínimo 10GB de espacio en disco
• GPU NVIDIA opcional (para mejor rendimiento)

Paso 1: Instalar Docker

Si no tienes Docker instalado, ejecuta:

sudo apt update && sudo apt install -y docker.io docker-compose
sudo usermod -aG docker $USER

Reinicia la terminal o ejecuta newgrp docker para aplicar los cambios de grupo.

Paso 2: Instalar Ollama

Ollama es la plataforma que ejecutará los modelos de IA:

curl -fsSL https://ollama.com/install.sh | sh

Paso 3: Configurar Open WebUI con Docker

Crea un archivo docker-compose.yml:

version: '3.8'
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - "3000:8080"
    volumes:
      - ./data:/app/data
    depends_on:
      - ollama
    restart: unless-stopped

  ollama:
    image: ollama/ollama
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama:/root/.ollama
    restart: unless-stopped

volumes:
  ollama:

Paso 4: Iniciar los servicios

docker-compose up -d

Paso 5: Acceder a la interfaz web

Abre tu navegador y ve a http://localhost:3000. Crea tu cuenta y empieza a usar tu servidor de IA local.

Paso 6: Descargar un modelo

En la interfaz de Open WebUI, selecciona "Ollama" como proveedor y elige un modelo como llama3:8b o mistral:7b. El sistema lo descargará automáticamente desde Ollama.

Consejos finales

• Para GPUs NVIDIA, instala los controladores y NVIDIA Container Toolkit para mejor rendimiento
• Los modelos más grandes (70B) requerirán más RAM y tiempo de carga
• Puedes acceder a tu servidor desde otros dispositivos en tu red usando la IP del servidor: http://[IP_DEL_SERVIDOR]:3000

¡Listo! Ahora tienes un servidor de IA privado y completamente bajo tu control.