DATA/数据服务·SERVICE MANUAL

让真实操作,成为可用数据。

TURN REAL OPERATIONS INTO USABLE DATA

真实操作
可用数据
《数据服务说明书》By ONDESKBOT 桌面智能
浏览服务
痛点/01

我们解决什么问题 WHAT PROBLEM WE SOLVE

ONDESKBOT 的工作,是把一次真实操作整理成一份可使用、可检查、可追溯的数据资产。

客户常见困难

模型看过很多图片,却不会完成真实任务

我们的解决方式

采集完整的人类操作过程,而不是只提供静态画面

通俗示例不只是给出“桌上有杯子”的图片,还记录“拿起杯子、避开障碍、放到指定位置”的全过程

客户常见困难

机器人在实验室表现不错,到真实现场就失败

我们的解决方式

增加真实场景、不同物体、不同光线和失败恢复过程

通俗示例同样是“整理货架”,会覆盖不同高度、不同包装、遮挡、物品摆放变化等情况

客户常见困难

手机/电脑智能体只能完成简单点击

我们的解决方式

提供“任务目标—界面状态—操作动作—结果”的完整轨迹

通俗示例记录从“查找文件”到“整理表格并保存草稿”的多步操作,而不只是一次点击

客户常见困难

团队花大量时间清洗、对齐和标注原始数据

我们的解决方式

提供清洗、标注、格式转换、增强和质量检查

通俗示例将零散录屏、日志或视频整理为统一的训练文件,减少客户重复加工

02

核心服务总览 CORE SERVICES OVERVIEW

人类演示数据

真实场景人类演示数据

获得人在真实环境中的操作过程、任务语义和场景变化

适用对象

具身智能、机器人、世界模型团队

人类演示数据

机器人动作对齐数据

将人类动作与目标机器人可使用的动作信息进行对齐和验证

适用对象

机器人本体、机械臂、灵巧手团队

人类演示数据

失败与恢复数据

学习“做错后如何发现、修正、求助或安全停止”

适用对象

需要提升安全性、稳定性和异常处理能力的团队

GUI 交互数据

跨端 GUI 操作数据

获得手机、电脑、平板上人类完成任务的完整操作轨迹

适用对象

手机智能体、OS 智能体、电脑智能体团队

GUI 交互数据

可回放 GUI 任务环境

获得可重复运行的任务、测试环境、操作轨迹和结果检查方式

适用对象

企业流程智能体、模型实验室、高校

增值数据服务

数据清洗、标注与增强

将原始素材变为结构清晰、可训练、可评估的数据集

适用对象

已拥有原始数据或希望扩大数据覆盖的团队

第一部分/03

人类演示数据服务 HUMAN DEMONSTRATION DATA

什么是人类演示数据

人类演示数据,是真实的人在真实或受控场景中完成任务时产生的多模态记录。

ONDESKBOT 的重点之一是第一视角(Ego)数据——从执行任务的人的视角记录世界。

第一视角(Ego):从执行任务的人眼前看到的画面

模型需要学习的能力与数据中应包含的内容

看懂场景

物体、工具、空间布局、遮挡、光线和人员活动

机器人识别货架上的饮料、价签、空位和挡板

理解任务

自然语言目标、任务限制、成功条件

“将保质期更近的商品放到前排,但不要打乱价格标签”

学习步骤

每一步的开始、结束、顺序和目的

先打开柜门,再取出物品,再放置,最后关闭柜门

学习动作

手、工具或机器人末端执行器的动作过程

抓取瓶子时怎样调整手腕角度,避免碰倒旁边的物品

学习恢复

失误出现的位置、原因和修正方式

物品滑落后,先停止、重新定位,再从安全位置抓取

学习边界

不应该执行的动作,以及何时应该请求帮助

看见液体泄漏、身份不明物品或高风险告警时停止并请求人工处理

三项核心服务

ONDESKBOT 组织真实人员在真实或按项目搭建的场景中完成任务,并通过可穿戴设备与第一视角方式记录操作过程。

每个项目会先明确任务、场景、需要记录的信号,以及如何定义成功和失败。

适用场景

家居与生活服务

做饭准备、餐后整理、清洁、收纳、铺床、折叠衣物、物品取放

双手协作、柔性物体处理、长步骤任务、家庭环境变化

工业与制造

工具取放、零件分拣、简单装配、工位整理、质量检查、包装

工序顺序、工具使用、精细操作、标准作业与异常发现

商超与零售

货架补货、商品整理、价格标签检查、拣选、打包、收银前准备

物品识别、货架空间理解、重复任务效率、面向顾客环境的安全性

物流与仓储

拣货、分拣、搬运、扫码、装箱、贴标、交接

物品定位、路径规划、工作节拍、异常包裹处理

餐饮与服务业

备料、摆台、递送、清洁、后场整理

流程协作、任务切换、人与环境交互、服务过程理解

客户专属场景

按客户真实部署场地或业务流程定制

获取客户最难被公开数据替代的专有经验

可采集的信息

项目会根据模型目标选择所需信息。并非每个项目都需要全部信号;必要信息越明确,数据成本和训练可用性越容易控制。

第一视角视频

操作人员眼前看到的画面

让模型学习“在做动作前看到了什么”

外部辅助视频

从侧面或固定位置拍摄操作过程

帮助看清手、物体和环境位置关系

任务说明

这次操作要完成什么、有什么限制

让模型把自然语言目标和行为过程对应起来

步骤说明

将长任务拆成多个较小步骤

训练模型进行计划、检查进度和发现漏步骤

时间记录

每一步在什么时间发生

对齐视频、动作、语音和设备信息

手部、姿态或工具运动信息

操作人员的手、手腕、身体或工具如何移动

为动作学习、动作重建和机器人动作映射提供依据

物体与环境状态

物体在哪里、是否已打开/关闭、是否已放好

帮助模型判断任务是否真正完成

语音或文字提示

操作人员的口述说明、任务提示或注意事项

让模型理解“为什么这样做”

成功、失败与恢复记录

是否完成、在哪里出错、如何修正

用于提高异常处理和安全能力

项目示例

商超货架整理

操作人员佩戴第一视角设备,在不同货架、不同商品摆放和不同光线条件下完成补货、整理和检查任务。数据可记录货架画面、任务目标、双手动作、商品位置变化、操作步骤和最终结果。模型可用于学习商品识别、抓取前观察、摆放顺序和遮挡情况下的动作决策。

家庭厨房收纳

操作人员按不同任务完成“清理台面”“将餐具归位”“准备食材”等操作。数据不仅记录成功路径,也记录拿错物品、物品掉落、空间不足、需要重新安排等真实变化。模型可学习长步骤任务、物体关系和失败恢复。

工业工位工具取放

在授权的工位或模拟工位中,操作人员依据标准作业流程取用工具、完成简单操作、检查结果并归还工具。数据可用于让机器人理解工序顺序、工具关联和安全边界。

第二部分/04

GUI 交互数据服务 GUI INTERACTION DATA

什么是 GUI 交互数据

GUI 交互数据,记录人在手机、电脑或平板上完成一项任务的全过程。

它把任务目标、当前界面、操作动作、界面变化与最终结果连接成一条完整、可训练、可检查的轨迹。

任务目标 — 界面状态 — 操作动作 — 结果:完整轨迹

数据中包含的信息

任务目标

用户希望完成什么

“在表格中筛选本月数据并导出”

初始状态

任务开始时页面和账户处于什么状态

已登录测试账户,打开指定工作表,页面为中文界面

屏幕记录

每一步看到的页面或界面变化

当前显示筛选菜单、日期输入框或确认提示

操作记录

点击、双击、拖拽、滚动、输入、快捷键或触控动作

点击“筛选”,输入日期范围,按下保存快捷键

操作后的结果

执行后页面发生什么变化

出现筛选结果、生成文件、保存草稿或出现错误提示

任务检查结果

系统或人工判断任务是否完成

文件是否保存到指定路径,草稿是否创建成功

失败和修正过程

哪里做错、为什么错、如何回退或修复

点错菜单后返回上一页,重新选择正确选项

两项核心服务

ONDESKBOT 为手机、电脑和平板上的智能体训练提供跨端交互数据,覆盖网页、桌面软件、移动 App 与内部业务系统。

每个任务可拆分为原子操作、短流程与端到端工作流三个层级。

数据层级

01

原子操作

1 步

一个界面状态下的一步操作

找到“保存”按钮并点击;在输入框中输入文本

02

短流程

3–10 步

一组有明确小目标的连续操作

筛选商品、加入购物车、生成订单草稿

03

端到端工作流

10–30 步或更多

从开始到可检查结果的完整任务

查询客户订单、核验信息、生成退款草稿并提交内部审核

适用场景

生产力工具

文档编辑、表格整理、文件归档、日历安排、邮件草稿

使用测试账号或脱敏数据;优先采集草稿、导出和整理任务

电商与零售

搜索、比较、筛选、加入购物车、创建订单草稿

默认不执行真实支付;使用沙箱订单或测试环境

社交与内容平台

检索内容、整理素材、创建草稿、设置内容分类

默认不进行真实发布;正式发布需客户和平台授权

企业内部系统

客服查询、CRM 更新、库存查询、供应链状态检查

使用权限隔离的测试环境或经授权的脱敏副本

专业软件

数据分析、实验记录、设计软件、科研工具操作

明确软件授权、数据使用边界和可验证结果

系统与设备设置

文件管理、设置调整、设备状态查看

避免高风险系统变更;保留回退和恢复步骤

项目示例

表格整理与导出

在固定版本的表格工具中,操作人员按照任务说明筛选数据、排序、补全格式、导出指定文件。数据记录目标、初始文件、每一步界面变化、键鼠操作、导出结果和自动检查结果。它可以用于训练桌面智能体理解表格任务和执行多步操作。

手机端商品比较

在经授权的测试环境中,操作人员搜索指定商品、比较参数、筛选条件、加入购物车并停在确认前页面。数据可覆盖不同网络状态、弹窗、商品缺货和页面变化,但不默认进行真实付款。

企业客服工单草稿

在测试 CRM 中,操作人员根据模拟客户问题查询订单、填写处理建议、上传指定文件并生成待审核草稿。数据可帮助智能体学习业务步骤和权限边界,同时避免触碰真实客户资料。

第三部分/05

数据增值服务 VALUE-ADDED DATA SERVICES

很多团队已拥有录屏、日志、第一视角视频等原始素材,但常存在格式不统一、时间对不上、重复与隐私混入等问题。

ONDESKBOT 先确认数据要训练什么能力,再决定清洗规则,把原始素材整理为可训练、可评测的结构化数据。

服务内容

文件检查

检查文件是否损坏、缺失或命名混乱

找出无法打开的视频、丢失的截图、重复上传的记录

时间对齐

让视频、动作、传感器或操作日志按正确时间对应

让“点击按钮”的动作与点击前后的截图对应起来

去重与筛选

减少重复、空白、无进展或低价值内容

将重复录制的同一流程合并,保留有差异的场景

隐私处理

识别和处理姓名、手机号、账号、订单、聊天或密钥等敏感信息

对录屏中的真实邮箱、客户信息和登录令牌做遮挡或替换

格式转换

将数据整理为客户模型或工具能够读取的格式

将零散录屏和事件日志整理为按任务编号的训练文件

版本整理

标记不同时间、设备、软件或场景产生的数据

区分“Android 版本 A”和“Android 版本 B”的轨迹,避免混用

第四部分/06

ONDESKBOT 的交付标准 DELIVERY STANDARDS

我们将数据质量分为四个简单层次。客户可以按实际项目选择适用层级;并非所有项目都需要最高规格,但任何项目都应在开始前明确最低要求。

第一层

来源清楚 · 权利与安全

知道数据从哪里来、谁授权、可用于什么、是否有敏感信息

客户可检查的内容

授权记录、用途范围、隐私处理说明、删除或纠正流程

第二层

文件完整 · 完整性

视频、截图、动作、日志和说明能够对应,文件没有明显缺失或损坏

客户可检查的内容

文件清单、时间记录、数据版本、缺失项报告

第三层

说明准确 · 标注与对齐

任务、步骤、动作和结果之间能对应,错误不会被随意当成成功

客户可检查的内容

标注规则、抽检结果、失败类型、复核记录

第四层

能够验证 · 回放与验收

在约定环境或目标机器人上,能检查数据是否可解析、可回放或能支持目标测试

客户可检查的内容

回放日志、验证器结果、留出测试与问题清单

三份标准交付文件

数据说明卡 Data Card

数据内容、来源、授权、场景覆盖、处理过程、适用范围和限制

研发、采购、法务、安全团队

对齐/回放包 Replay & Alignment Pack

Ego 的同步/标定/动作说明,或 GUI 的环境、初始化、检查器和回放说明

模型、算法、工程团队

验收包 Acceptance Pack

文件清单、抽检、缺陷、返修、版本、回放/检查结果和验收结论

项目负责人、采购和质量团队

第五部分/07

项目合作方式 COOPERATION PROCESS

  1. STEP 01

    明确要解决的任务

    ONDESKBOT 与客户共同确认模型需要解决什么问题,以及什么情况下算完成。例如,客户不只说“需要仓储数据”,而是进一步说明“需要让机器人在不同货架和包装条件下完成拣选,并降低拿错物品的情况”。

  2. STEP 02

    设计数据方案与安全边界

    双方确定场景、任务清单、设备或软件版本、需要采集的信号、授权与隐私要求、成功/失败定义,以及是否需要测试环境。对于 GUI 项目,会特别明确测试账号、禁止动作、是否允许真实交易或发布,以及如何恢复初始状态。

  3. STEP 03

    交付小样本并共同确认

    先交付小批量样本。客户检查字段、格式、任务难度、动作/界面对齐、数据质量和训练可用性。小样本通过后再进入批量采集,避免大量数据在定义不清时产生返工。

  4. STEP 04

    批量采集、加工与质量检查

    按照确认的规则执行采集、清洗、标注、脱敏、格式转换和质量复核。每批数据配套版本、清单和质量信息。对于高价值失败场景,会单独标记和管理,而不是混入普通成功数据。

  5. STEP 05

    验收、复盘与持续更新

    客户根据约定的抽检、回放、任务检查或模型验证方式进行验收。项目结束后,可根据模型表现、现场反馈、软件更新或新增场景启动下一轮数据补充和维护。

第七部分/08

常见问题 FAQ

Q01ONDESKBOT 提供的是视频,还是训练数据?

我们可以交付原始视频或录屏,但核心服务是把原始素材整理成可训练、可检查的数据包。根据项目需要,数据中还会包含任务说明、步骤、动作、时间记录、成功/失败信息、版本和质量说明。

Q02人类第一视角数据能直接让机器人学会动作吗?

第一视角数据很适合理解场景、任务、物体和人的操作经验;但人和机器人在手部结构、传感器和控制方式上可能不同。如果希望机器人直接学习抓取、旋转、插入等动作,建议增加机器人动作对齐、标定或小样本验证服务。

Q03GUI 数据和普通截图标注有什么区别?

普通截图标注通常只说明“屏幕上有什么”。GUI 交互数据还会说明“用户要完成什么、当前页面是什么状态、用户做了什么操作、页面如何变化、任务是否完成”。如果需要训练智能体执行任务,还应提供初始状态、检查规则和回放方式。

Q04为什么需要记录失败数据?

真实任务并非每次都一次成功。记录经过分类的失败和修正过程,可以让模型学习发现错误、回退、重新尝试、请求人工帮助或安全停止。设备故障、网络中断等不适合训练的异常则会单独标记,不应混入成功数据。

Q05是否可以采集客户自己的业务流程?

可以,但需要在项目开始前明确授权、数据地点、账户权限、是否含个人信息、是否可使用测试环境、哪些动作禁止执行,以及数据是否允许用于训练、再训练或对外共享。客户私有流程默认应按受限数据管理。

Q06如何判断交付的数据是否合格?

双方会在项目开始前约定验收方式。常见方式包括:文件完整性检查、字段抽检、标注复核、任务覆盖检查、数据回放、测试集验证和质量报告审查。不同模型和场景需要不同标准,因此不建议使用笼统的“准确率”替代项目验收。

Q07数据归谁所有?

数据权属、训练权利、再训练权利、再分发限制、保留期限、删除机制和是否允许匿名化复用,应在项目合同中明确。对私有场景,默认采用“客户专有、未经书面同意不再利用”的原则;对完全授权的公开样本,则可按约定开放许可使用。

联系我们

开始数据合作

如果你是具身智能产业公司、大模型实验室、世界模型实验室、OS/Mobile 智能体团队、高校科研机构或开源模型社区,请随时联系我们。

了解更多:桌面机器人

ONDESKBOT 桌面智能的另一业务板块——全球首款桌面级物理自动化机器人。