Los modelos cuyos pesos se pueden descargar han progresado hasta el punto de hacer creíbles asistentes privados, tratamientos documentales, código y algunas interacciones multimodales sin enviar todos los datos a una API pública. Paralelamente, la cuantificación y los runtimes permiten ejecutar modelos más pequeños en servidores compactos, estaciones de trabajo y, a veces, dispositivos edge.
Esta evolución no significa que cualquier modelo pueda ser instalado en un ordenador portátil ni que el autoalojamiento sea automáticamente más barato. Hay que analizar la licencia, la calidad, la memoria, el rendimiento, la seguridad, las actualizaciones y la explotación.
Los modelos, licencias y ofertas evolucionan rápidamente; toda referencia debe ser revalidada antes de su publicación o elección de arquitectura.
« Abierto » puede designar varias realidades
Un modelo puede publicar:
- sus pesos;
- su código de inferencia;
- su receta de entrenamiento;
- una parte de los datos;
- una licencia que autoriza ciertos usos;
- solamente una API.
Los términos «open source», «open weights» y «disponible para descarga» no son intercambiables. La licencia debe leerse para el uso comercial, la redistribución, el ajuste fino, los sectores restringidos y las obligaciones de atribución.
Una ficha modelo seria describe arquitectura, límites, idiomas, evaluaciones y condiciones de uso. No exime de una evaluación interna.
Por qué autoalojar
Las motivaciones posibles son:
- datos sensibles;
- funcionamiento sin conexión;
- latencia local;
- costo estable a volumen alto;
- personalización;
- control de versiones ;
- reversibilidad;
- exigencias industriales o geográficas.
Estos beneficios tienen un precio: capacidad de GPU, equipo de operación, monitoreo, seguridad, actualizaciones y gestión de los picos.
Los casos de uso más realistas
Clasificación y extracción
Un modelo compacto especializado puede clasificar, normalizar o extraer campos con un formato restringido. La calidad se evalúa sobre un corpus profesional.
RAG privado
El modelo genera a partir de un índice interno. Los embeddings, la búsqueda y el modelo pueden desplegarse todos en un entorno controlado.
Asistencia al código
Un modelo local puede completar, explicar o transformar código sin enviar el repositorio a un tercero. Las tareas agentes largas requieren más capacidad y sandbox.
Procesamiento en el borde
La inspección visual, la transcripción, la detección o la asistencia pueden funcionar cerca de la fuente para reducir la latencia y mantener un servicio sin red.
Modo degradado
Una aplicación puede usar un modelo local para las funciones esenciales y una API más capaz para los casos complejos cuando la conexión y la política lo permiten.
Dimensionar sin fiarse únicamente del número de parámetros
El peso en memoria depende de la precisión. A modo de orden de magnitud, un parámetro de 16 bits consume dos bytes antes de las sobrecargas; en 4 bits, aproximadamente medio byte. El tiempo de ejecución, los buffers, la caché de atención y la concurrencia agregan un consumo importante.
La longitud del contexto aumenta la caché KV. El rendimiento depende del ancho de banda de la memoria, de la arquitectura y del lote. Dos modelos del mismo tamaño pueden tener perfiles muy diferentes.
Cadena de calificación, cuantificación, despliegue, supervisión y actualización de un modelo abierto.
Cuantificación: compromiso, no compresión gratuita
La cuantificación reduce la memoria y puede acelerar la inferencia. También puede degradar algunas tareas, idiomas, cálculos o salidas estructuradas. El impacto varía según el modelo y el método.
Es necesario comparar la versión objetivo en el conjunto de evaluación, con los mismos prompts y parámetros. Una cuantificación agresiva puede seguir siendo aceptable para una clasificación e insuficiente para una síntesis precisa.
Los artefactos cuantificados tienen un origen, una huella y una licencia verificadas.
CPU, GPU y aceleradores de borde
La CPU puede ser suficiente para un bajo volumen o un modelo compacto, con una latencia superior. La GPU aporta rendimiento y tiempo de respuesta, pero crea una limitación de memoria y operación. Los aceleradores móviles o industriales a menudo imponen formatos y operadores específicos.
El benchmark debe realizarse en el hardware objetivo. Las cifras públicas utilizan lotes, contextos y optimizaciones que no siempre corresponden al uso.
Edge AI: acercar el cálculo a los datos
El borde es pertinente cuando:
- la red es intermitente;
- la latencia debe ser muy baja;
- los datos no deben salir del sitio;
- el volumen bruto es demasiado alto;
- Una decisión local debe continuar durante un fallo.
La arquitectura puede preprocesar localmente y luego sincronizar los resultados. Los modelos y políticas están firmados, versionados y desplegados por oleadas.
Un dispositivo edge tiene restricciones térmicas, energéticas y de almacenamiento. Las funciones críticas deben mantener una reserva determinista cuando el modelo no esté disponible.
Seguridad de la cadena de suministro
Descargar pesos y un tiempo de ejecución añade artefactos externos. Hay que controlar:
- fuente ;
- huella ;
- formato ;
- código ejecutado;
- dependencias;
- vulnerabilidades;
- licencia ;
- comportamiento de la red ;
- modelo de actualización.
Los formatos capaces de ejecutar código se tratan con precaución. La conversión se realiza en un entorno aislado.
Seguridad operativa
El servicio de inferencia está autenticado, limitado y segmentado. Los prompts, salidas y cachés pueden contener datos sensibles. Los registros los minimizan y los accesos son auditados.
El autoalojamiento no elimina la inyección de prompts, la exfiltración ni el abuso de herramientas. Brinda un mayor control sobre los componentes, siempre que se aseguren.
Actualización y reversión
Una nueva versión del modelo puede mejorar un benchmark y cambiar los rechazos, formatos o usos del idioma. Pasa por:
- calificación de licencia ;
- escaneo y conversión ;
- evaluación fuera de línea ;
- prueba de carga ;
- canario ;
- observación ;
- promoción ;
- posibilidad de devolución.
Los dispositivos edge pueden estar fuera de línea. El mecanismo de actualización debe gestionar la reanudación, la firma, el espacio en disco y la versión mínima.
Costo completo
Comparar:
- compra o alquiler de capacidad;
- tasa de utilización ;
- energía ;
- enfriamiento;
- almacenamiento ;
- red ;
- soporte ;
- seguridad;
- ingeniería ;
- renovación ;
- capacidad de punta.
Una API puede resultar más económica para un volumen bajo e irregular. Una capacidad privada se vuelve interesante cuando el uso es estable, los datos son sensibles o el control es estratégico.
Arquitectura híbrida
Un puente puede enrutar según sensibilidad, complejidad y disponibilidad. Un pequeño modelo local maneja los casos estándar; un modelo externo se encarga de las tareas complejas permitidas. Las evaluaciones garantizan que el enrutamiento no degrade silenciosamente la calidad.
El formato de los prompts, herramientas y resultados es lo suficientemente portátil para cambiar de modelo, manteniendo al mismo tiempo las diferencias explícitas.
Evaluar una solución abierta
El protocolo debe medir:
- exactitud ;
- lengua ;
- formato ;
- seguridad;
- latencia en el primer token;
- caudal ;
- memoria ;
- energía ;
- estabilidad ;
- costo por tarea completada.
Los casos largos, ambiguos y adversos están incluidos. El punto de referencia público no reemplaza esta campaña.
Gobernanza de modelos
El registro contiene nombre, versión, licencia, origen, usos autorizados, propietarios, resultados de evaluación, entornos y fecha de revisión. Un modelo no aprobado no puede ser desplegado sobre datos sensibles.
Los modelos abandonados o vulnerables se retiran con un plan de migración.
Una nueva opción de arquitectura
Los modelos abiertos y el edge amplían las opciones. Hacen posible una IA más local, controlada y resiliente, pero requieren una verdadera ingeniería de producto y de operación.
Partitech puede comparar los modelos, construir el benchmark, dimensionar la infraestructura, integrar los runtimes y poner en marcha la cadena de versión y supervisión. El objetivo es un despliegue abierto justificado por la necesidad, no por una promesa de gratuidad.
Hablemos de su proyecto
Evaluar y prototipar una arquitectura de IA abierta o edge con Partitech. Contacte a Partitech.