BerriAI ha publicado como open source LiteLLM Agent Platform, una capa de infraestructura autoalojada diseñada para ejecutar agentes de IA en entornos de producción con sandboxes aislados y continuidad de sesiones tras reinicios o despliegues. La plataforma busca evitar la pérdida de estado de agentes stateful y dar a las organizaciones control sobre entornos y secretos, facilitando operaciones críticas y despliegues más robustos.
La distribución incluye un dashboard Next.js orientado a LiteLLM v2 que escucha en el puerto 3000, un proceso worker para tareas asíncronas y una base de datos PostgreSQL cuya migración se ejecuta como init container. El código del proyecto es mayoritariamente TypeScript (92.8%), complementado por scripts Shell, un Dockerfile y CSS para la interfaz de usuario.
El sandboxing se implementa en Kubernetes mediante el CRD kubernetes — sigs/agent — sandbox; para desarrollo local la plataforma soporta kind. Además existe un conjunto de harnesses (harnesses/opencode) con configuración específica para ejecutar agentes de código — por ejemplo Claude Code u OpenAI Codex — dentro de sandboxes aislados, y un vault proxy para la gestión de credenciales. El equipo mantiene también un repositorio separado, litellm — agent-runtime, para la ejecución de agentes.
La propuesta aporta dos primitivas clave: aislar sandboxes por equipo o contexto y garantizar continuidad de sesión frente a reinicios y actualizaciones de pods. Esas capacidades están pensadas para resolver problemas reales al escalar agentes stateful, que de otro modo perderían estado si el contenedor falla. Al ser una solución autoalojada y de código abierto, ofrece a las organizaciones control sobre sus entornos, secretos y la persistencia necesaria para operaciones críticas.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
