AI Agents & Automation advanced

Computer Use

An agent operating a computer the way a person does — reading the screen, moving the cursor, typing.

Computer Use lässt einen Agenten mit Software arbeiten, die keine API hat, indem er die Oberfläche direkt steuert. Das erschließt Altsysteme und Nischenwerkzeuge, ist dafür aber langsamer und fehleranfälliger als eine richtige Integration. Weil der Agent dabei die vollen Rechte des Nutzers erbt, ist Sandboxing keine Option, sondern Pflicht.

In der Praxis: Ein Formular in einem internen Portal ausfüllen, das 2009 gebaut wurde und keine API hat.

Where this comes up