Vessel
Un agente de IA que controla un escritorio Linux aislado, en vivo en tu navegador
EL RETO
La demo de computer use de Vercel muestra la idea, pero es una prueba de concepto mínima: sin historial de sesiones, sin visibilidad de las llamadas individuales a herramientas y con una integración del modelo que no funcionaba para computer use en AWS Bedrock. Quería una versión que se ejecute en Bedrock, mantenga las credenciales en el servidor y permita ver al agente trabajar y revisar lo que hizo.
STACK TECNOLÓGICO
Enfoque de ingeniería
Bucle de agente en el servidor
Todo el bucle de herramientas se ejecuta dentro de una única petición POST /api/chat: recibir el stream de Claude, ejecutar cada tool_use en el entorno aislado, devolver el tool_result y repetir hasta que el modelo se detiene. El frontend sigue viendo un data stream estándar del SDK de IA, así que useChat no necesitó cambios.
SDK nativo de Anthropic en Bedrock
Sustituí el proveedor de Bedrock del SDK de IA por @anthropic-ai/bedrock-sdk (InvokeModel) para que el flag beta de computer use de Anthropic llegue al modelo.
Conversión explícita del historial
toAnthropicMessages() convierte el historial UIMessage del SDK de IA en los turnos alternos de usuario y asistente que exige Anthropic, descartando las llamadas a herramientas incompletas y convirtiendo los resultados con capturas de pantalla al formato de imagen que espera el modelo.
Estado separado
Las sesiones de chat y la línea de tiempo de eventos de llamadas a herramientas viven en stores de Zustand separados, y el historial de mensajes se lee a través de una ref dentro de onFinish para que los callbacks nunca actúen sobre valores obsoletos.
Decisiones técnicas clave
Las decisiones que dieron forma a la arquitectura y a lo fácil que es mantenerla.
SDK nativo en lugar del proveedor de Bedrock del SDK de IA
Las llamadas pasan por @anthropic-ai/bedrock-sdk usando InvokeModel.
Con el proveedor de Bedrock del SDK de IA, Claude recibía las definiciones de las herramientas pero describía las acciones en texto en lugar de emitir bloques tool_use. El SDK nativo envía el flag beta en el cuerpo de la petición y el modelo empezó a actuar.
Ejecutar el bucle en el servidor
La ejecución de herramientas ocurre dentro de la ruta de la API, no en el navegador.
Ejecutar en el cliente añadiría un viaje de ida y vuelta al navegador por cada llamada a herramienta y pondría en el cliente las credenciales del entorno aislado. Hacerlo en el servidor mantiene ambos en el servidor.
maxSteps: 1 en useChat
El bucle de varios pasos se queda dentro de una única petición al servidor.
Con maxSteps superior a 1, useChat vuelve a enviar el historial tras cada turno, y los resultados con capturas de pantalla pierden su formato de imagen en la serialización JSON y vuelven como cadenas de texto, así que el modelo ya no puede verlos.
Dos stores separados
La canalización de eventos y la gestión de sesiones son stores de Zustand separados.
Cambian a ritmos distintos y por motivos distintos. Mantenerlos separados mantiene cada uno simple.
Retos y soluciones
En AWS Bedrock, Claude describía las acciones en texto en lugar de realizarlas.
Lo rastreé hasta que el flag beta de computer use no llegaba al modelo a través del proveedor de Bedrock del SDK de IA, y pasé al SDK nativo de Anthropic.
Los resultados con capturas de pantalla dejaban de funcionar después del primer turno, porque el historial reenviado los devolvía como cadenas de texto.
Mantuve el bucle de varios pasos dentro de una única petición al servidor con maxSteps: 1, y convertí el historial de forma explícita en toAnthropicMessages().
Anthropic exige que cada tool_use vaya seguido de un tool_result, y las ejecuciones interrumpidas dejaban llamadas a herramientas huérfanas.
Descarto los turnos del asistente con llamadas a herramientas incompletas antes de enviar, y marco las llamadas abortadas como resultados cuando el usuario detiene una ejecución.
Resultados
Vessel ejecuta tareas de navegador y de terminal de principio a fin en un escritorio Linux aislado, transmitido en vivo en el navegador, con cada llamada a herramienta visible en una línea de tiempo de depuración. Es de código abierto y está desplegado en Vercel.
CONCLUSIONES CLAVE
Los errores más difíciles estaban en las fronteras: entre el SDK y el proveedor, y entre los formatos de mensajes de la interfaz y las reglas de turnos del modelo. Leer directamente el formato de red fue más rápido que adivinar a partir de los síntomas.
