今天凌晨2点，OpenAI终于发布了传闻已久的AI Agent——Operator。
Operator是一个面向浏览器的智能体，能够模拟人类操作计算机的能力，完成在线订餐、预订酒店、购买机票等日常繁琐、重复任务。
例如，通过Operator在OpenTable上预订一家名为Beretta的餐厅。Operator能够自动识别指令，并在网站上完成预订操作。
与传统Agent和RPA不同的是，Operator的最大技术特点是无需依赖API或特定网站就能完成所有自动化操作，它是通过对屏幕截图的分析，识别页面元素，然后使用鼠标和键盘进行模拟。
所以，现阶段可以把Operator看成是大模型增强版的按键精灵。
完整发布会
Operator是基于新模型CUA（在GPT-4o基础上研发的，未来会开放API）开发而成，专门对视觉UI界面的理解和交互进行了额外专项训练，这也是Operator无需依赖API的主要原因之一。
Operator还内置了一个浏览器，能查看网页并通过打字、点击和滚动来与网页进行交互。可处理各种重复性的浏览器任务，包括填写表格、订购杂货，甚至制作表情包等。
例如，当用户上传一张包含购物清单的照片时，Operator首先会通过视觉算法识别出照片中的文字内容，然后利用大模型分析每个项目的意义，最终确定访问哪个电商平台以及搜索哪些关键词，使得Operator不仅限于简单的点击和输入操作，还能处理更加复杂的情境。
其实说到这传统的RPA、按键精灵都能做，Operator另外一大特点就是自我纠错能力，当预见错误或识别不明确时，可以根据大模型的推理能力进行实时修正。实在解决不了，会主动把控制权交给人类寻求帮助。
Operator的使用方法很简单，无需专业的编程背景或者繁琐的开发流程，就像使用ChatGPT那样用文本描述你的需求即可。
当你需要购买杂货时，可以直接上传一张购物清单的照片，或者简单地用文字描述你需要的物品，帮我购买鸡蛋、菠菜、蘑菇和鸡腿。
Operator会识别这些物品，并在你常用的购物平台上（如Instacart）完成购物任务。会自动搜索这些商品，选择合适的品牌和数量，然后将它们加入购物车。如果某些商品缺货，Operator会询问你是否需要替代品，或者是否可以跳过该商品。
此外，Operator还可以处理更复杂的任务，包括安排活动、购买演唱会门票、预订旅行计划等。例如，你可以让它帮你查找并购买本周末勇士队比赛的门票，或者安排下周的网球课程。只需简单地描述你的需求，Operator会通过互联网为你找到最佳选项，并完成预订或购买操作。
考虑到某些关键步骤可能存在风险或者不确定性，Operator支持一套完善、安全的用户交互方案。每当涉及金钱交易、个人信息填写等敏感环节时，系统都会暂停当前操作并向用户发送通知，等待进一步指示。如果遇到无法解决的问题，Operator也会主动向人类寻求帮助，不会盲目的尝试解决。
此外，Operator还内置了保护措施，会实时监控其自动化行为，当发现发现异常时会暂停任务。例如，有人可能会使用Operator进行暴力密码破解。
目前，Operator处于预览版状态，仅提供给美国Pro用户使用，很快会扩大应用范围。
END
报告下载
