Cómo instalar y configurar Ollama para correr modelos locales

Cómo instalar y configurar Ollama para correr modelos locales

Ollama es una herramienta ligera que te permite correr modelos de lenguaje como Llama 3, Mistral, o Qwen directamente en tu servidor. Esto te da control total sobre tus datos, privacidad y costos, ideal si quieres operar tu propio agente de IA o hacer inferencia local sin depender de una API.

Paso 1: Instalar Ollama en tu servidor

Cada paso tiene un propósito claro. Vamos a instalar los binarios directamente para tener la última versión estable. Abre una terminal en tu servidor y ejecuta:

curl -fsSL https://ollama.com/install.sh | sh

Este comando descarga e instala el binario de Ollama y crea un servicio de sistema. No necesitas root para usarlo, pero sí para la instalación.

Paso 2: Iniciar el servicio de Ollama

Aunque el script anterior instala el servicio, vale la pena confirmar que está corriendo:

sudo systemctl start ollama
sudo systemctl enable ollama # Para que arranque automáticamente

Verifica el estado con systemctl status ollama. Un estado "active (running)" indica que está listo.

Paso 3: Descargar un modelo de prueba

Con Ollama corriendo, puedes descargar y usar modelos con un solo comando. Probemos Llama 3:

ollama pull llama3:8b-instruct

Este proceso puede tardar unos minutos y requiere suficiente espacio en disco (unos 5 GB para este modelo). Ollama gestiona el almacenamiento local automáticamente.

Paso 4: Probar el modelo

Interactúa con tu modelo corriendo:

ollama run llama3:8b-instruct

Aparecerá un prompt para que le hagas preguntas. Escribe cualquier cosa, como "Hola, ¿cómo estás?", y presiona Enter.

Paso 5: Exponer Ollama con autenticación (opcional pero recomendado)

Por defecto, Ollama solo escucha en localhost para mayor seguridad. Si necesitas exponerlo a internet, instala un proxy inverso como Nginx con autenticación básica. Esto añade una capa de contraseñas:

• Instala Nginx: sudo apt install nginx
• Configura un sitio para que redirija peticiones al puerto 11434 (por defecto de Ollama) con una autenticación básica. La guía detallada para esto está en línea.

Servidores VDS — Ideal para AI Agents — Nap Latino