首先，LLM 需要具备 vision 和 function calling 的能力。
接下来做的事情就很传统了，启动一个虚拟机，这个虚拟机内会启动一个 websocket server，这个 server 可以还可以通过 pyautogui 对虚拟机执行截图、鼠标和键盘操作。客户端通过 websocket 和 server 进行交互，获取截图并下达指令。
整个操作的循环是这样的：启动虚拟机，固定屏幕尺寸，截图，然后画上网格辅助线，交给 vision llm 识别，交代下一步需求，然后 llm 返回在
(x,y) 执行某个鼠标或键盘操作，然后通过 ws 传输进虚拟机内的 server 执行，并返回执行后的截图，继续循环。将对虚拟机的所有操作，抽象为一系列的如
left_click(x, y) 这样的接口，然后让 LLM 根据截图和指令，以 function calling 的方式调用这些接口。这样就实现了一个 machine-use agent。这个虚拟机其实不仅仅可以跑在本地，而是可以运行在任何网络可以连通的供应商上，只要让客户端能够通过 ws 与其通信就行了。