商品资料抓取与采集:任务、导入结果与上架核对|云上订货系统
云上订货 · 更新于 2026-10-08
商品资料采集要解决的是把来源网站的商品信息转成可核对的本店档案。它至少经过分析来源、抓取结果、导入商品、确认销售四个环节。任务完成只能说明本次处理结束,不能证明所有商品抓取成功,也不能证明本店新增了同样数量的商品。先限定一个能人工检查的小范围,按来源商品和规格编号逐件验收,再扩大数量,才能避免把错价、错单位或来源库存批量带进经营资料。
从商品抓取进入,先确定来源范围和目标企业
在PC管理端找到“商品抓取”,确认当前企业和应用状态;应用未开启时先处理应用设置与授权,不能借别的导入入口代替。新建任务填写来源网址,任务名称写明来源、品类和这次处理范围,便于回查。来源网址应对应所需商品列表或具体商品详情,网站首页、登录页和商品详情页的作用不同。需要登录的来源按实际要求提供账号、密码及公司信息,不把登录参数拼在客户可见图片或交接文字中。
抓取上限用于约束这次处理范围,输入界面的说明为“不填或0表示不限”。首次采集应明确填一个可逐件核验的数量,不把0当作“不抓取”。界面给出的预计数量也不是最终成功数量。详情页模式通常只处理当前商品;列表页模式还需要正确识别商品链接和对应范围。分析结果如果显示单品模式,就不能按“整个来源目录都已采集”安排后续验收。
任务列表可能出现待配置、已配置、分析中、抓取中、已完成和失败。分析中应等待原任务结果,已有分析任务的提示不是让人连续创建新任务。已配置表示分析和配置环节已推进,尚需确认启动;抓取中表示后台处理正在进行。离开进度页面不等于取消后台任务,再进入时按原任务名称、编号和创建时间找回,先查原状态和计数再决定下一步。

图1:任务状态描述整次处理,结果状态描述单条资料。任务完成、单条已抓取和本店已导入之间仍有核对步骤。
分析映射时,用样品确认字段含义
分析结果会展示来源字段、对应目标字段、预览值等信息。先把样品商品与来源原页面对照:商品名称是否包含完整品名,销售价格是否真的属于当前规格,单位是否是瓶、袋、件还是整箱,条码和商品编号是否混淆。字段识别置信度只帮助定位需要复查的位置,不能代替对价格口径和规格归属的人工判断。发现预览值来自别的商品或广告区域,先返回核对来源,不在错误映射基础上继续扩大采集。
例如同一饮料有250ml和500ml两个规格,来源展示“每箱24瓶”与“每瓶6元”时,要分别记录容量、订货单位、换算关系和对应价格。不能把24瓶写成容量,也不能把144元的箱价作为每瓶售价。映射表展示可确认的字段,不应假定每一列都能直接编辑;以当前界面提供的操作为准。缺少修正入口时暂停该范围,改用核实后的商品资料维护,不能靠反复重新分析期待错值自动消失。
图片要与具体商品、规格对应,主图、相册和详情图片分别查看。文字抓到了但图片下载不完整、原链接受登录限制、规格图片实际对应其他颜色,都可能在导入后留下缺图或错图。来源的市场价不能直接当作本店销售价,来源促销条件也不能默认是本店给所有客户的承诺。核完样品的身份、字段和图片后,再确认映射并开始抓取,保留原任务作为后续结果的归属依据。

图2:示例分别核商品身份、SKU容量、基础单位、辅助单位和价格口径。示例值用于解释核对方法,不代表本次采集的数据。
从原任务查看结果,把成功、失败与待处理分开
抓取进度包含预计总数、成功数和失败数,进度计算可能把成功与失败都算作已处理,所以100%不等于全部成功。处理结束后进入该任务的“查看结果”,确认任务范围没有串到另一次采集。结果列表的待处理、已抓取、已导入、失败是单条结果状态,与任务列表的状态不是同一套含义。先筛出资料完整、对应正确的已抓取记录,打开商品详情预览,逐项核名称、编码、销售价、市场价、条码、规格、单位、品牌、分类与来源网址。
多规格还应核规格列表的行数、规格名称、各行价格、条码及图片,不只看商品主行一个价格。结果预览为空或只有一行时,先对照来源是否确有多规格、字段是否识别完整,不能直接认定来源就是单规格。失败记录保留原提示和来源对象,判断是无法访问、分析不正确、字段缺失还是导入保存失败;不同阶段的失败分别处理。勾选未显示“已导入”的行,也不能推断这些行全部满足导入条件。
导入前按商品编码在本店查询,已有同码商品先确认是不是同一件货。当前导入逻辑遇到本店已有商品编码可以跳过,映射中的所有规格编码都已存在时也可能跳过;这类结果仍可能更新为“已导入”。因此状态已导入不能单独证明新建了档案,更不代表旧商品被更新。导入反馈中的成功、跳过和失败应分别记录,跳过对象回查原档案,不通过改编号绕过重复判断来制造第二件同货商品。

图3:编码重复可能跳过且标记已导入;只有回查实际档案与导入清单,才能分清新建、已有和失败对象。
导入后补齐经营资料,特别核默认单位和库存
导入成功后按实际商品编号打开本店档案。来源分类不一定对应本店经营分类,无法匹配时可能落到默认分类;单位缺失可能采用“个”。有些来源未给规格名称时,还可能用单位名称填入规格名称。看到字段有值不等于语义正确,要把“个”是否可用、规格名称是否足以区分实物、分类是否能让客户找到货分别确认,补齐真实的品牌、分类和本店管理需要的资料。
规格价格缺失或没有有效正值时可能回退到商品主价格,规格条码缺失也可能采用商品主条码。两行规格都有价格、条码仍不足以证明采集完整:250ml与500ml是否错误共用价格、条码,必须逐行回查。单位名称匹配不会自动证明箱瓶换算正确,辅助单位及换算关系要按真实包装核。商品导入通常先置为下架,后续再按本店商品、SKU和销售审核规则处理,不能把采集结果状态与上架状态混用。
库存是本篇特别需要单独验收的部分。有些来源规格资料包含系统库存和可用库存,导入路径可能按来源规格向本企业默认仓库写入库存记录,某一库存字段缺少时还可能沿用另一个数值。不能笼统理解为“采集只复制文字、绝不会带库存”。导入前明确这是本企业既有库存迁移还是其他企业的商品资料;导入后查实际仓库、规格、系统库存和可用库存,来源库存不属于本店时按本店库存业务核实处理,避免再次入库造成重复数量。
没有默认仓库、规格匹配不到或库存处理发生问题时,档案导入与库存结果也可能不一致。不要凭商品导入成功直接承诺库存已经全部迁移。先保存来源库存清单,再逐规格与目标仓库比对;库存无法确认的商品先维持停售或适用的订货限制,不能通过随意填一个可售数量使页面看起来正常。补图、调价、补单位、核库存是经营确认动作,不能由“已导入”四个字替代。

图4:历史PC示例展示同一编号的两种规格、上架状态、系统库存与可用库存位置;采集导入与库存迁移应分别用原任务、实际档案和仓库明细核对。
上架后用实际客户手机,核同规格同单位
完成本店档案确认后,再处理本店实际销售状态、SKU状态和需要的审核。用有对应商品范围的实际客户手机商城查看商品,核主图、详情、规格、单位及价格。管理端看到商品不等于这个客户能找到,主图正常也不等于规格选择后仍显示正确图片。进入具体规格逐项查看,切换订货单位时核价格和换算,对照本店真实客户价格及起订、限订规则,不用来源报价代替成交结果。
历史示例中250ml规格显示箱装24瓶、144元,并有“缺货”提示。这说明规格与单位能显示出来,仍不能断言客户可以按目标数量成交。应回查该规格在实际供货仓的可用库存、缺货订货规则及本店销售限制,确认提示与本店经营条件一致。只为检查采集资料时,查看商品和可购提示即可,不需要提交真实订单。需要验证交易则按已有业务安排另行核对订单中的规格、单位、数量及价格。

图5:历史客户手机画面中250ml、箱24瓶、144元与缺货提示同时出现。容量、订货单位、价格和库存提示分别核,不能凭商品显示认定可成交。
无反馈先查原结果,再只处理尚未完成的对象
导入需要处理图片、商品及规格资料,等待界面结束不能代替结果查询。当前进度会分别列已导入、待处理、失败和未找到;页面提示“导入仍未完成”或网络无反馈时,保留原任务和原选择清单,刷新相应结果,再按本店编号回查。失败与未找到也可能被计入已处理进度,百分比到顶并不意味着新建数量达到原选择数量。已经有档案的对象不要再次全批提交。
结果页的“修改状态”只涉及抓取结果的处理标记,不能把标记改回已抓取当作删除本店档案、撤销库存或重新采集。先判断需要改的是来源资料、本店商品档案、库存记录还是结果标记,再走相应操作。最后保留一份对照:本次任务范围、成功和跳过数量、失败对象、实际商品与SKU编号、默认字段修正项、仓库库存核对及客户手机结果。只有这些对象能一一对应,才把此次采集视为完成,并据此扩大下一次范围。

图6:页面等待或无反馈时先查询原选择结果及实际档案,库存和手机销售结果另外核;修改结果标记不能替代撤销档案或库存。