Appearance
采集目标与结果管理
Campus
适用角色
经授权的数据运营人员、系统管理员。
功能说明
「采集目标」用于登记要采集的目标对象、配置请求头与请求参数、按需触发执行,并在同一页面查看每个目标的属性配置。列表页采用左右分栏:左侧是采集目标列表,右侧是当前选中目标的属性明细(请求头或请求参数)。是否启用该模块、可采集的数据范围与保留期限,须以当前客户环境的合规配置与授权为准。
操作入口
text
系统管理 > 数据采集 > 采集目标截图待补:采集目标列表、目标表单、属性表单。
一、维护采集目标
采集目标是本模块的主数据,每条目标承载一个具体的抓取任务定义。
- 进入「采集目标」,点击工具栏「新增」。
- 在「添加爬虫对象」弹窗中填写:
- 名称(必填):留空提示「爬虫对象名称不能为空」。
- 地址(必填):留空提示「请求地址不能为空」。
- 关键词(必填):留空提示「关键词不能为空」。输入框提示「多个关键词以空格隔开」,多个关键词请使用空格分隔。
- 状态(开关):可用/禁用,默认根据实际下发环境。
- 备注(选填):多行文本,登记用途、责任人或其他说明。
- 点击「提交」保存,成功后右上角提示「创建成功」;再次打开该目标时,弹窗标题为「编辑爬虫对象」,字段与新增一致,保存后提示「更新成功」。
查询与列表
- 顶部筛选:
- 对象名称:按名称关键字过滤(支持清空)。
- 状态:全部/正常/停用,单选按钮组切换。
- 列表默认展示:序号、名称、状态;通过表头「列过滤」可按需显示地址、关键词、备注、创建人、创建时间等列。
- 状态标签:正常为绿色
success,停用为灰色info。 - 分页支持每页 20/50/100/200/500/1000/2000/5000 条,默认 20 条。
行操作
每行提供 5 个圆形图标按钮(悬停有中文提示,按角色控制权限):
| 图标提示 | 作用 |
|---|---|
| 执行 | 立即触发该目标的一次采集执行;成功后提示「执行成功」。 |
| 请求头 | 在右侧属性面板加载该目标的请求头列表。 |
| 入参 | 在右侧属性面板加载该目标的请求参数列表。 |
| 编辑 | 打开「编辑爬虫对象」弹窗。 |
| 删除 | 弹窗确认「确认删除采集对象 xxx?」,确认后提示「操作成功」。 |
「执行」为即时触发;执行后的采集结果与运行日志需在后台或对应结果视图中查看,具体入口以当前客户环境为准。
二、配置请求头与请求参数
一个采集目标可以挂多条请求头(Header)和请求参数(Query/Body 属性),两类属性结构一致、仅归属类型不同。
- 在左侧列表选中目标行,点击行上的「请求头」或「入参」图标,右侧面板会加载对应类型的属性列表。
- 属性列表列说明:
- 属性名称、属性值:直接展示,鼠标悬停可查看完整内容。
- 是否转码:只读开关,标识该属性的值在发送前是否需要 URL 编码。
- 动态属性:只读开关,标识该属性值是否为运行时动态生成(例如取当前时间、上一次执行返回值等)。
- 状态:以「是/否」标签显示是否启用(正常为绿色
success,停用为灰色info)。 - 备注、操作(编辑/删除)。
- 选中目标后,顶部会出现「添加请求头」或「添加请求参数」按钮,点击打开属性表单。
- 在「添加 [目标名] 请求头/请求参数」弹窗中填写:
- 属性名称(必填):留空提示「属性名称不能为空」。
- 属性值(必填):留空提示「属性值不能为空」。
- 是否转码(开关):是/否,默认「否」。
- 动态属性(开关):是/否,默认「否」。
- 状态(开关):可用(1)/禁用(0),新增默认「可用」。
- 备注(选填)。
- 点击「提交」保存,成功提示「创建成功」;后续在同一属性行点「编辑」进行修改,保存提示「更新成功」;点「删除」时弹窗提示「确认删除 请求头/请求参数 xxx?」,确认后提示「操作成功」。
切换目标或切换「请求头/入参」视图时,右侧列表会重新加载对应类型的属性。
关键规则与注意事项
- 使用本功能前,需确认采集目的、授权来源、目标站点规则与数据保存期限均符合单位与合规要求;不得配置未经授权或涉及不当个人信息的采集目标。
- 「名称」「地址」「关键词」为采集目标的必填项;「属性名称」「属性值」为属性的必填项,缺失时表单会阻止提交。
- 「关键词」如需多个,必须以空格分隔,不要使用中文逗号、分号或换行。
- 「是否转码」与「动态属性」是否开启,须结合目标站点的实际协议与业务口径确定;错误的转码会导致请求失败或数据错位。
- 属性的「状态」开关会决定该属性是否随请求实际下发;停用后属性仍保留在配置中,可随时启用。
- 采集异常应先核对目标配置、请求头/参数与站点授权,不要通过反复新建同名目标绕过问题。
- 新增、编辑、删除、执行等操作按角色控制,无相应权限的按钮会呈现禁用状态。
常见问题
找不到「采集目标」菜单或按钮不可用
先确认当前环境是否启用了该模块,其次确认账号是否具备相应角色。未授权时页面上的「新增/编辑/删除/执行」按钮会呈禁用状态,属于预期表现,不应绕开权限操作。
保存目标时提示字段不能为空
检查「名称」「地址」「关键词」是否都填写;关键词多个时使用空格分隔。属性表单请检查「属性名称」「属性值」。
点击「添加请求头/请求参数」没有反应
「添加请求头/请求参数」按钮只有在左侧列表已选中某行、并且已经点击过该行的「请求头」或「入参」图标后才会出现。先在列表选中目标、切到对应属性视图再新增即可。
点了「执行」没看到结果
「执行」仅触发一次采集,成功时页面提示「执行成功」。结果数据与运行日志需要到对应的结果查看入口或后台核对,具体位置以当前客户环境为准。
截图待补:执行后结果查看入口。
删除目标后是否可恢复
删除操作会弹窗确认,请谨慎处理;已生效的目标建议先「停用」,观察一段时间再决定是否删除。已采集的历史数据是否随之处理,按单位数据管理制度执行。
版本记录
| 版本 | 日期 | 修改说明 |
|---|---|---|
| v1.0 | 2026-07-27 | 首次建立 |
| v1.1 | 2026-07-27 | 依据前端源码完善内容 |
