Qué es AnythingLLM y cómo instalarlo en tu servidor para chatear con tus documentos usando tu propio modelo

Ya cubrimos cómo correr un modelo local con Ollama y cómo conectar tus propias apps a su API. AnythingLLM es el paso natural siguiente para alguien que no quiere programar nada: es una aplicación completa, de código abierto, que te da una interfaz de chat, la posibilidad de "conversar" con tus propios documentos (PDFs, Word, texto plano) y agentes con herramientas (búsqueda web, ejecución de tareas), todo apuntando a un modelo que corre en tu propio servidor.

Si todavía no tienes Docker y Ollama instalados, instálalos primero — ya cubrimos ambos procesos en guías anteriores. Esta guía asume que Ollama ya está corriendo con al menos un modelo descargado.

Crea una carpeta para los datos de AnythingLLM. Ahí se guardan tus documentos subidos, los embeddings generados y la configuración — tenerla en una ruta fija es lo que te permite actualizar el contenedor sin perder nada:

mkdir -p ~/anythingllm-data

Levanta AnythingLLM con Docker, montando esa carpeta:

docker run -d --name anythingllm \
  -p 3001:3001 \
  -v ~/anythingllm-data:/app/server/storage \
  -e STORAGE_DIR=/app/server/storage \
  mintplexlabs/anythingllm

Confirma que el contenedor está corriendo:

docker ps

Entra a la interfaz desde tu navegador en http://IP-DE-TU-SERVIDOR:3001. La primera vez, vas a crear una cuenta de administrador — este usuario queda guardado solo en tu servidor, sin depender de ningún servicio externo.

Configura el proveedor del modelo de lenguaje. En el panel de configuración, dentro de "Preferencia de LLM", elige "Ollama" como proveedor. En la URL base, apunta a la dirección donde corre Ollama — si Ollama corre en el mismo servidor pero fuera de Docker, usa la IP real del servidor (no localhost, porque el contenedor de AnythingLLM tiene su propia red aislada por defecto y localhost ahí adentro se refiere al propio contenedor, no a tu servidor): http://IP-DE-TU-SERVIDOR:11434. Selecciona el modelo que ya descargaste con Ollama de la lista que aparece.

Crea tu primer "Workspace" (espacio de trabajo) desde el panel principal — es donde viven las conversaciones y los documentos de un proyecto en particular. Puedes tener varios workspaces separados, por ejemplo uno por cliente o por área de tu negocio, cada uno con su propio conjunto de documentos.

Sube un documento para probar la parte más útil de la herramienta. Dentro del workspace, busca la opción de subir documentos y agrega un PDF o archivo de texto — puede ser un manual interno, un contrato, o cualquier documento que quieras poder consultar por chat. AnythingLLM lo procesa automáticamente (lo divide en fragmentos y genera representaciones vectoriales, lo que técnicamente se conoce como RAG — generación aumentada por recuperación) para poder encontrar la parte relevante cuando le hagas una pregunta.

Haz una pregunta sobre ese documento en el chat, algo específico que solo esté en el archivo que subiste. Si la respuesta cita información real del documento y no una respuesta genérica, la conexión entre el modelo y tus documentos está funcionando correctamente.

No dejes el puerto 3001 abierto a todo internet sin protección, sobre todo si vas a subir documentos con información sensible de tu negocio. Si necesitas acceder desde afuera de tu red, ponlo detrás de un proxy con autenticación real — ya cubrimos cómo hacer esto con Cloudflare Tunnel y ZTNA en otra guía.

Procesar documentos y generar embeddings consume más RAM y CPU que solo chatear con un modelo, especialmente si subes muchos archivos o varios usuarios trabajan al mismo tiempo. Si tu equipo va a depender de esto para consultar información real del negocio, no de una prueba de un solo usuario, en /planes/vds tienes los recursos dedicados para que el sistema responda rápido incluso con varios workspaces activos.