Cada vez que tu equipo envía un prompt a un servicio de IA en la nube, los datos viajan a servidores de un tercero. En la mayoría de los contratos de consumo eso implica una transferencia internacional de datos personales o, al menos, una cesión a un encargado del tratamiento que debe formalizarse por contrato. Para una clínica, un despacho de abogados, una gestoría o cualquier empresa que maneje información sensible, ese flujo puede convertirse en un riesgo RGPD real. La alternativa es desplegar el modelo dentro de tu propio perímetro: en tu servidor físico, en tu VPS dedicado o en tu nube privada. En este artículo explicamos cómo se hace, qué hardware necesitas, qué plataformas de software son las más utilizadas en 2025-2026 y qué implica desde el punto de vista normativo.
¿Por qué el dato «no sale» cuando ejecutas el LLM on-premise?
Un modelo de lenguaje es, en esencia, un fichero de pesos (decenas o cientos de gigabytes) que, una vez cargado en memoria, genera texto sin necesidad de conectarse a ningún servidor externo. Cuando instalas ese modelo en tu propio servidor y expones solo una API interna, el ciclo completo —prompt enviado → inferencia → respuesta recibida— ocurre dentro de tu red. No hay llamada saliente, no hay registro en sistemas del proveedor, no hay posibilidad de que el texto de tus empleados o clientes quede en un log de un tercero.
Esto contrasta con los modelos SaaS estándar (ChatGPT, Claude.ai, Gemini en sus versiones de consumo), donde los datos se procesan en infraestructura ajena. Las versiones enterprise de esos mismos proveedores sí pueden incluir garantías contractuales más sólidas —cero retención de prompts, DPA firmado, región de datos europea—, pero la certeza técnica que ofrece la ejecución local es estructuralmente superior: no existe cesión porque no existe transmisión.
Marco normativo: RGPD y el principio de minimización
El Reglamento General de Protección de Datos (RGPD, Reglamento UE 2016/679) obliga a identificar y justificar cada flujo de datos personales. Cuando se usa un servicio SaaS de IA, la empresa actúa como responsable del tratamiento y el proveedor como encargado, lo que exige un contrato de encargo del tratamiento (art. 28 RGPD) con garantías explícitas sobre ubicación de servidores, medidas de seguridad y subencargados.
Si los servidores del proveedor están fuera del Espacio Económico Europeo (EEE), entra en juego el Capítulo V del RGPD (transferencias internacionales), que desde la anulación del Privacy Shield en 2020 exige cláusulas contractuales tipo (SCCs) adoptadas por la Comisión Europea o mecanismos equivalentes. El Comité Europeo de Protección de Datos (EDPB) ha emitido recomendaciones (01/2020 y posteriores) que exigen además una evaluación de impacto de la transferencia (TIA) cuando los datos van a jurisdicciones con poderes de vigilancia incompatibles con el RGPD.
Desplegar el LLM en tu propio servidor elimina de raíz esa cadena de obligaciones para los datos que procesas internamente. El tratamiento sigue existiendo —y debe documentarse en el Registro de Actividades de Tratamiento—, pero la cesión a terceros desaparece. Para sectores con obligaciones específicas (sanidad, servicios financieros, educación), esto simplifica considerablemente el análisis de riesgos.
Si quieres profundizar en cómo estructurar la gobernanza técnica de IA para cumplir también con el AI Act, consulta nuestro servicio de IA soberana e infraestructura privada, donde abordamos la capa técnica y la normativa de forma integrada.
Modelos open-weight disponibles en 2025-2026
El ecosistema de modelos ejecutables localmente ha madurado de forma acelerada. En 2025 y 2026 existen opciones de alta calidad para prácticamente cualquier caso de uso empresarial:
| Modelo | Tamaño (parámetros) | Contexto máximo | Licencia comercial | Caso de uso principal |
|---|---|---|---|---|
| Llama 3.3 70B (Meta) | 70 B | 128 K tokens | Sí (Llama 3 Community License) | Generación de texto, resumen, asistente general |
| Mistral Large 2 (Mistral AI) | 123 B | 128 K tokens | No comercial (uso comercial requiere Mistral Commercial License aparte) | Razonamiento, código, multilingüe |
| Qwen 2.5 72B (Alibaba) | 72 B | 128 K tokens | Sí (Apache 2.0) | Multilingüe, tareas estructuradas, español nativo |
| Phi-4 (Microsoft) | 14 B | 16 K tokens | Sí (MIT) | Hardware limitado, razonamiento denso |
| Gemma 3 27B (Google DeepMind) | 27 B | 128 K tokens | Sí (Gemma ToS) | Multimodal ligero, pymes con GPU mid-range |
| DeepSeek-V3 (DeepSeek) | 671 B MoE | 128 K tokens | Sí (MIT) | Razonamiento matemático/código, alta capacidad, open-weight |
Nota sobre licencias: «licencia comercial» significa que puedes usar el modelo para generar valor en tu negocio. Las restricciones varían (número máximo de usuarios activos al mes, prohibición de competir directamente con el proveedor, etc.). Revisa siempre el texto completo antes de producción.
Hardware necesario: qué GPU o CPU necesitas realmente
La inferencia de un LLM es intensiva en memoria de vídeo (VRAM) cuando se ejecuta en GPU, o en RAM convencional cuando se ejecuta en CPU. La regla práctica: un modelo de N mil millones de parámetros en precisión FP16 necesita aproximadamente N × 2 GB de memoria. Con cuantización INT4 (reducción de precisión con pérdida mínima de calidad), ese requerimiento se divide aproximadamente por cuatro.
- Modelos de 7-14 B cuantizados (INT4): ejecutables en una GPU de consumo con 8-12 GB de VRAM (NVIDIA RTX 3080/4070) o incluso en CPU con 32 GB de RAM. Velocidad: 20-40 tokens/segundo en GPU, 3-8 tok/s en CPU moderna.
- Modelos de 30-70 B cuantizados (INT4): requieren una GPU profesional de 24-48 GB (NVIDIA RTX 4090, A100 40 GB) o dos tarjetas en paralelo. Velocidad: 15-30 tok/s.
- Modelos de 100+ B o MoE grandes: necesitan múltiples GPUs A100/H100 o descarga parcial en RAM (CPU offloading), con velocidades de 5-15 tok/s.
Para una pyme que quiere un asistente interno sin inversión en GPU de gama alta, los modelos de 7-14 B cuantizados en CPU ofrecen una calidad más que suficiente para resumir documentos, redactar borradores o responder consultas sobre bases de conocimiento internas. La velocidad en CPU es más lenta, pero en flujos no interactivos (análisis nocturno de contratos, clasificación de emails en lote) no supone un problema operativo.
Software para ejecutar el modelo: Ollama, vLLM y LM Studio
Existen tres plataformas dominantes en el mercado en 2026 para servir LLMs en infraestructura propia:
- Ollama: la opción más sencilla para empezar. Un único binario que descarga y ejecuta modelos con un comando (
ollama run llama3.3). Expone una API REST compatible con la especificación de OpenAI, lo que facilita la integración con aplicaciones existentes. Ideal para pilotos y entornos de desarrollo. Limitación: no está optimizado para alta concurrencia. - vLLM: el estándar de facto para producción con varios usuarios simultáneos. Desarrollado en UC Berkeley, implementa PagedAttention para maximizar el throughput de la GPU. Expone una API compatible con OpenAI. Requiere Linux y CUDA, pero aguanta decenas de peticiones concurrentes sin degradación severa.
- LM Studio: interfaz de escritorio para Windows y macOS. Perfecto para que un usuario no técnico ejecute un modelo localmente en su portátil. No está pensado para un servidor compartido, pero es válido para casos de uso individuales donde el dato más sensible no puede salir del equipo bajo ningún concepto.
- Llama.cpp: motor de inferencia en C++ optimizado para CPU (y GPU con backends CUDA/Metal). Es la base de Ollama. Ejecuta modelos GGUF cuantizados con gran eficiencia en hardware convencional. Apropiado si necesitas integración a bajo nivel o máxima portabilidad.
Arquitectura recomendada para una pyme de 20-150 empleados
La arquitectura más habitual que implantamos desde Summum para empresas en ese rango de tamaño combina tres capas:
- Servidor de inferencia: máquina Linux (bare-metal o VPS dedicado en CPD europeo) con vLLM o Ollama sirviendo el modelo elegido. El servidor no tiene salida a internet salvo para actualizaciones programadas y auditadas.
- Capa RAG: una base de datos vectorial (Qdrant, Chroma, Weaviate —todas ejecutables on-premise—) que indexa los documentos internos de la empresa. El LLM consulta esa base para responder con contexto real de tu negocio, no con conocimiento genérico del entrenamiento. Más información en nuestro servicio de RAG para documentos empresariales.
- Capa de aplicación: un chatbot interno, un conector al ERP o una interfaz web ligera (por ejemplo, Open WebUI, que es de código abierto y puede desplegarse en el mismo servidor) que conecta a los empleados con el sistema.
Todo el tráfico circula por la red interna (LAN o VPN). Los datos nunca atraviesan internet. El registro de prompts y respuestas se almacena en tu propia base de datos, bajo tu control, lo que facilita auditorías internas y el ejercicio de derechos RGPD por parte de los interesados.
Cuánto cuesta desplegar un LLM on-premise: rangos orientativos de mercado
Los precios siguientes son rangos de mercado a nivel europeo en 2026, basados en proyectos comparables publicados por integradores y en los precios de hardware actuales. No son tarifas de Summum.
- Hardware GPU (compra): una NVIDIA RTX 4090 (24 GB VRAM) cotiza entre 1.800 € y 2.200 € en canal europeo. Una A100 40 GB de segunda mano ronda los 8.000-12.000 €. Para modelos pequeños en CPU, un servidor con 64 GB de RAM DDR5 puede armarse por 2.000-4.000 €.
- VPS con GPU en Europa: proveedores como Hetzner GPU (A100 80 GB, Frankfurt/Helsinki) cobran entre 3,5 y 5 €/hora bajo demanda o 2.000-3.500 €/mes en instancias reservadas. Lambda Labs, Vast.ai u OVHcloud GPU tienen rangos similares.
- Proyecto de implantación (consultoría + integración): los integradores europeos especializados en LLMs privados cobran entre 8.000 € y 30.000 € según la complejidad (número de usuarios, integraciones con ERP, capa RAG, formación del equipo). Proyectos piloto con un modelo 7B sin RAG pueden entregarse por debajo de 10.000 €.
- Coste operativo mensual: si el hardware es propio, el coste dominante es la electricidad (una A100 consume ~300 W, menos de 100 €/mes en consumo continuo) y el mantenimiento. Si es un VPS GPU, el coste es el del alquiler mensual.
Qué pasa con el AI Act y los modelos de uso interno
El Reglamento de Inteligencia Artificial de la UE (AI Act, Reglamento UE 2024/1689) entró en vigor en agosto de 2024 y se aplica de forma escalonada hasta 2027. Para una empresa que despliega un LLM para uso interno (sin ponerlo a disposición de terceros como producto), las obligaciones son distintas a las de un proveedor de IA:
- Si el sistema no está clasificado como de alto riesgo (Anexo III del AI Act), las obligaciones son mínimas: prohibiciones de uso (art. 5) y buenas prácticas voluntarias.
- Si el sistema se usa para tomar decisiones que afecten a empleados o clientes de forma significativa (evaluación de crédito, selección de personal, acceso a servicios esenciales), puede caer en la categoría de alto riesgo y requerir documentación técnica, registro en la base de datos europea y medidas de supervisión humana.
- Los modelos de propósito general (GPAI) con más de 10^25 FLOPs de entrenamiento tienen obligaciones adicionales para sus creadores, no para quienes los despliegan en local.
En la práctica, la mayoría de los usos internos —asistente documental, resumen de correos, generación de borradores— no son de alto riesgo. Pero conviene documentar el caso de uso y conservar esa evaluación.
Preguntas frecuentes
¿Es legal usar un modelo como Llama o Mistral en mi empresa?
Sí, con matices. Meta publica Llama 3 bajo una licencia comunitaria que permite el uso comercial para empresas con menos de 700 millones de usuarios activos mensuales, lo que incluye a cualquier pyme. Mistral publica sus modelos bajo licencias Apache 2.0 o propias que también permiten el uso comercial. Debes leer la licencia específica del modelo que elijas: algunas prohíben usarlo para entrenar otros modelos o para determinados sectores. Si el modelo se despliega sin salida a internet y solo para uso interno, el riesgo de incumplimiento contractual es mínimo, pero la revisión legal sigue siendo recomendable.
¿Puedo garantizar al 100 % que ningún dato sale del servidor?
Técnicamente, sí, si la arquitectura está bien configurada. El modelo de inferencia no realiza llamadas de red salientes por sí mismo. Lo que sí debes controlar es que las herramientas que lo rodean (el servidor de API, la capa de aplicación, los conectores con el ERP) tampoco realicen transmisiones no previstas. Un cortafuegos de salida (egress firewall) que bloquee todo el tráfico saliente del servidor de IA salvo el estrictamente necesario es la medida técnica complementaria imprescindible. Desde el punto de vista del RGPD, la garantía técnica elimina la cesión de datos; la garantía documental la acredita ante una inspección de la AEPD.
¿Qué calidad tiene un modelo local comparado con GPT-4o o Claude?
La brecha se ha reducido drásticamente entre 2024 y 2026. Modelos como Llama 3.3 70B o Mistral Large 2 alcanzan puntuaciones comparables a GPT-3.5 en benchmarks estándar (MMLU, HumanEval) y se acercan a GPT-4 en tareas concretas. Para casos de uso bien acotados —responder sobre documentos propios, clasificar emails, redactar en un estilo definido— un modelo de 70B cuantizado es perfectamente funcional en producción. La diferencia más notoria persiste en razonamiento complejo multistep y en tareas con contextos muy largos y ambiguos. Para esos casos, una arquitectura híbrida (local para lo cotidiano, API externa con DPA firmado para consultas críticas) puede ser la solución más pragmática.
¿Cómo afecta esto al cumplimiento del RGPD si subcontrato el servidor a un proveedor cloud europeo?
Si el servidor donde se ejecuta el modelo está alojado en un CPD europeo (Alemania, Francia, España, Países Bajos…) operado por un proveedor con DPA firmado, el tratamiento queda dentro del EEE. No hay transferencia internacional. Sigues siendo responsable del tratamiento y el proveedor de hosting es un encargado bajo art. 28, pero es la misma relación que tienes ya con tu proveedor de correo o tu ERP en la nube. La diferencia con un SaaS de IA es que el encargado no tiene acceso al contenido de los prompts, solo a la infraestructura física. Proveedores como Hetzner (Alemania) o Scaleway (Francia) tienen sede en la UE y contratos RGPD estándar.
Conclusión: soberanía de datos como ventaja competitiva
Desplegar un LLM en infraestructura propia ya no es una opción reservada a grandes corporaciones con equipos de MLOps. En 2026, una pyme con un presupuesto razonable puede tener un asistente de IA potente, completamente bajo su control, con garantías técnicas y normativas que ningún SaaS estándar puede ofrecer. La clave está en elegir el modelo adecuado al hardware disponible, usar plataformas de inferencia maduras y documentar el tratamiento correctamente desde el primer día. Si tu sector trabaja con datos sensibles, esa inversión no es un gasto tecnológico: es una palanca de confianza frente a clientes y auditores.
En Summum trabajamos desde 2007 acompañando a empresas en la implantación de tecnología con rigor normativo. Si quieres evaluar si un despliegue on-premise encaja en tu caso concreto, nuestro equipo de IA soberana puede hacer ese análisis previo contigo.