Un autor logró que el agente OpenClaw controlara un brazo robótico LeRobot 101 y ejecutara tareas de manipulación básicas: el agente configuró el sistema, usó visión para localizar una pelota roja y cerró la garra cuando la identificó. Esta integración demuestra cómo agentes que generan y verificar código pueden automatizar pasos de puesta en marcha y acción en hardware físico, lo que reduce la entrada técnica para experimentos robóticos.
Para la prueba, el autor empleó OpenClaw junto a Codex para generar scripts en Python que aprovecharon bibliotecas de visión y control: el código identificaba la pelota roja en la imagen de la cámara y comandaba el cierre de la garra. Además de la demostración puntual, el agente guió el entrenamiento de un segundo modelo que aprendió a recoger y colocar objetos concretos, aplicando el flujo de generación de código y verificación para iterar sobre el comportamiento del robot.
El LeRobot 101 es parte de un proyecto abierto en HuggingFace y consta de dos brazos: un brazo controlador operado por una persona (con manija y gatillo) y un brazo seguidor equipado con cámara. El autor compró el dispositivo y dedicó varias horas a la conexión y calibración; durante esos ajustes incorrectos llegó a sobrecalentar motores, lo que ilustra los riesgos prácticos de trabajar con hardware real.
La aproximación utilizada se enmarca en la idea “code as policy”, propuesta en un paper de 2022 y con creciente adopción en investigación. El grupo de Ken Goldberg (UC Berkeley), junto con investigadores de NVIDIA, Carnegie Mellon y Stanford, creó el benchmark CaP‑X para medir la habilidad de modelos que generan código en tareas robóticas; según CaP‑X, el mejor modelo para programar robots fue Gemini, por delante de Claude y ChatGPT. Los equipos también publicaron CaP‑Gym (entorno para simulación y robots reales) y CaP‑Agent0, un marco agente que mejora el rendimiento de modelos de codificación.
La combinación de hardware relativamente económico como LeRobot y agentes capaces de generar y verificar código puede bajar la barrera técnica: reduce tareas manuales repetitivas de calibración y permite flujos guiados por el agente que miden el error tras cada etapa de entrenamiento. En algunos problemas de manipulación, el enfoque CaP y marcos como CaP‑Agent0 igualan o superan a modelos entrenados específicamente para control directo, lo que abre posibilidades para investigación y prototipado rápido.
Sin embargo, la solución no está lista para producción: el autor documenta limitaciones y riesgos prácticos — configuración compleja, calibración manual, posibilidad de sobrecalentamiento de motores por parámetros incorrectos— y advierte que los agentes pueden “alucinar” código, introduciendo bugs especialmente con hardware distinto. Equipos como el de Goldberg trabajan con NVIDIA para mejorar compatibilidad y robustez; Spencer Huang ha organizado hackatones internos en NVIDIA y participa en proyectos para extender el enfoque a más plataformas robóticas.
Fuentes
Respuestas (0)
Aún no hay respuestas en este tema.
