Skip to content

采集目标与结果管理

Campus

适用角色

经授权的数据运营人员、系统管理员。

功能说明

「采集目标」用于登记要采集的目标对象、配置请求头与请求参数、按需触发执行,并在同一页面查看每个目标的属性配置。列表页采用左右分栏:左侧是采集目标列表,右侧是当前选中目标的属性明细(请求头或请求参数)。是否启用该模块、可采集的数据范围与保留期限,须以当前客户环境的合规配置与授权为准。

操作入口

text
系统管理 > 数据采集 > 采集目标

截图待补:采集目标列表、目标表单、属性表单。

一、维护采集目标

采集目标是本模块的主数据,每条目标承载一个具体的抓取任务定义。

  1. 进入「采集目标」,点击工具栏「新增」。
  2. 在「添加爬虫对象」弹窗中填写:
    • 名称(必填):留空提示「爬虫对象名称不能为空」。
    • 地址(必填):留空提示「请求地址不能为空」。
    • 关键词(必填):留空提示「关键词不能为空」。输入框提示「多个关键词以空格隔开」,多个关键词请使用空格分隔。
    • 状态(开关):可用/禁用,默认根据实际下发环境。
    • 备注(选填):多行文本,登记用途、责任人或其他说明。
  3. 点击「提交」保存,成功后右上角提示「创建成功」;再次打开该目标时,弹窗标题为「编辑爬虫对象」,字段与新增一致,保存后提示「更新成功」。

查询与列表

  • 顶部筛选:
    • 对象名称:按名称关键字过滤(支持清空)。
    • 状态:全部/正常/停用,单选按钮组切换。
  • 列表默认展示:序号、名称、状态;通过表头「列过滤」可按需显示地址、关键词、备注、创建人、创建时间等列。
  • 状态标签:正常为绿色 success停用为灰色 info
  • 分页支持每页 20/50/100/200/500/1000/2000/5000 条,默认 20 条。

行操作

每行提供 5 个圆形图标按钮(悬停有中文提示,按角色控制权限):

图标提示作用
执行立即触发该目标的一次采集执行;成功后提示「执行成功」。
请求头在右侧属性面板加载该目标的请求头列表。
入参在右侧属性面板加载该目标的请求参数列表。
编辑打开「编辑爬虫对象」弹窗。
删除弹窗确认「确认删除采集对象 xxx?」,确认后提示「操作成功」。

「执行」为即时触发;执行后的采集结果与运行日志需在后台或对应结果视图中查看,具体入口以当前客户环境为准。

二、配置请求头与请求参数

一个采集目标可以挂多条请求头(Header)和请求参数(Query/Body 属性),两类属性结构一致、仅归属类型不同。

  1. 在左侧列表选中目标行,点击行上的「请求头」或「入参」图标,右侧面板会加载对应类型的属性列表。
  2. 属性列表列说明:
    • 属性名称属性值:直接展示,鼠标悬停可查看完整内容。
    • 是否转码:只读开关,标识该属性的值在发送前是否需要 URL 编码。
    • 动态属性:只读开关,标识该属性值是否为运行时动态生成(例如取当前时间、上一次执行返回值等)。
    • 状态:以「是/否」标签显示是否启用(正常为绿色 success,停用为灰色 info)。
    • 备注操作(编辑/删除)。
  3. 选中目标后,顶部会出现「添加请求头」或「添加请求参数」按钮,点击打开属性表单。
  4. 在「添加 [目标名] 请求头/请求参数」弹窗中填写:
    • 属性名称(必填):留空提示「属性名称不能为空」。
    • 属性值(必填):留空提示「属性值不能为空」。
    • 是否转码(开关):是/否,默认「否」。
    • 动态属性(开关):是/否,默认「否」。
    • 状态(开关):可用(1)/禁用(0),新增默认「可用」。
    • 备注(选填)。
  5. 点击「提交」保存,成功提示「创建成功」;后续在同一属性行点「编辑」进行修改,保存提示「更新成功」;点「删除」时弹窗提示「确认删除 请求头/请求参数 xxx?」,确认后提示「操作成功」。

切换目标或切换「请求头/入参」视图时,右侧列表会重新加载对应类型的属性。

关键规则与注意事项

  • 使用本功能前,需确认采集目的、授权来源、目标站点规则与数据保存期限均符合单位与合规要求;不得配置未经授权或涉及不当个人信息的采集目标。
  • 「名称」「地址」「关键词」为采集目标的必填项;「属性名称」「属性值」为属性的必填项,缺失时表单会阻止提交。
  • 「关键词」如需多个,必须以空格分隔,不要使用中文逗号、分号或换行。
  • 「是否转码」与「动态属性」是否开启,须结合目标站点的实际协议与业务口径确定;错误的转码会导致请求失败或数据错位。
  • 属性的「状态」开关会决定该属性是否随请求实际下发;停用后属性仍保留在配置中,可随时启用。
  • 采集异常应先核对目标配置、请求头/参数与站点授权,不要通过反复新建同名目标绕过问题。
  • 新增、编辑、删除、执行等操作按角色控制,无相应权限的按钮会呈现禁用状态。

常见问题

找不到「采集目标」菜单或按钮不可用

先确认当前环境是否启用了该模块,其次确认账号是否具备相应角色。未授权时页面上的「新增/编辑/删除/执行」按钮会呈禁用状态,属于预期表现,不应绕开权限操作。

保存目标时提示字段不能为空

检查「名称」「地址」「关键词」是否都填写;关键词多个时使用空格分隔。属性表单请检查「属性名称」「属性值」。

点击「添加请求头/请求参数」没有反应

「添加请求头/请求参数」按钮只有在左侧列表已选中某行、并且已经点击过该行的「请求头」或「入参」图标后才会出现。先在列表选中目标、切到对应属性视图再新增即可。

点了「执行」没看到结果

「执行」仅触发一次采集,成功时页面提示「执行成功」。结果数据与运行日志需要到对应的结果查看入口或后台核对,具体位置以当前客户环境为准。

截图待补:执行后结果查看入口。

删除目标后是否可恢复

删除操作会弹窗确认,请谨慎处理;已生效的目标建议先「停用」,观察一段时间再决定是否删除。已采集的历史数据是否随之处理,按单位数据管理制度执行。

版本记录

版本日期修改说明
v1.02026-07-27首次建立
v1.12026-07-27依据前端源码完善内容

聚全信息文档中心