顶象学院首页>文章详情

《调研报告》:如何防范城市消费券被恶意爬取

2022-11-21|小象 1793

作为提振经济的重要把手,城市消费券的作用不言而喻。公开数据显示,2022 年全国各地公布的消费券累计超 100 万亿,在撬动各地消费的过程中起到了举足轻重的作用。

然而,仔细分析各地的核销率就会发现,有很大一部分消费券可能落入到了不法分子的口袋中。

根据顶象近日发布的《城市消费券安全调研报告》(以下简称《调研报告》)显示,各地消费券核销情况不一。

undefined

6 月 24 日,杭州发放 2022 年第二期数字消费券。 4 天之后,核销率不到一半,为 49.1%。核销率同样在 50%上下徘徊的,还有 6 月湖北首批“惠购湖北”消费券。

此外,郑州5月发放的餐饮消费券,核销率只有45%。

整体来看,各地的平均核销率超过80%。但从目前公布的各地核销率情况来看,核销率却不甚理想。

《调研报告》显示,15 个地区中,核销率在90%以上的仅有深圳、成都和宁波三个城市,其余城市核销率都徘徊在 50%~70%之间。不难猜测,未核销的消费券很大程度上可能已经成为不法团伙牟利的工具。

与此同时,由于消费券发放的平台主要在支付宝、微信、云闪付及建行生活 App 等各个大平台发放。各大平台自身有较强的业务安全及风控能力,各地的消费券发放规则上,获取消费券的用户基 本都需要完成实人认证,且需要开启相应的线上支付功能,已经有较好的风控能力。

显然,常规的批量注册、软件哄抢对于黑灰产而言已经不适用了,那么,黑灰产们又是如何批量盗取消费券的呢?

利用机器爬取获取大量消费券信息

《调研报告》显示,为了绕过消费券的发放规则,黑灰产通过大量招募真实身份、真实账户的的“刷手” ,然后通过社群,下达任务,组织进行统一操作和套现。 从目前收集的情报来看,现阶段黑灰产在整个消费券套现的链路中扮演中介的角色,赚取相应的佣金,主要采用人工抢和机器抢两类方式进行。

其中,人工抢券则利用爬虫抓取大量信息。

具体流程如下:

第一步,人员招募。黑灰产在国内外各个社交平台建立消费券组群,发布隐晦的广告信息,招揽“刷手”入群。另一方面,有套现需求的消费者也可以各个社交平台,通过关键词搜索的方式快 速找到相应的消费券套现群。

第二步,收集信息。在招募一定数量级的参与者后,黑灰产通过人肉线上搜索或机器爬虫的方式,抓 取线上各地政府发放消费券的发布信息。

第三步,消费券整理及业务漏洞挖掘。针对汇总收集的消费券信息,黑灰产依据发券时间、地点、发 布 App、消费券金额、使用方法等进行统一分类、整理,并分析消费券领取和使用中的业务 漏洞,以便于进行哄抢。

第四步,下达任务。通过社群,黑灰产下达抢券任务,引导刷手在指定的时间内集中哄抢消费券。

这样的行为不仅破坏了各地发放消费券的初衷,也扰乱了市场公平,造成了极坏的影响。

那么,如何防范城市消费券被恶意爬取呢?

顶象防范恶意爬虫的有效措施

机械工业出版社出版的《攻守道—企业数字业务安全风险与防范》一书中,认为恶意网络爬虫会带来数字资产损失、用户隐私泄露和扰乱业务正常运行等三大危害,并将“恶意网络爬虫”列为十大业务欺诈手段之一。

此外,爬虫开发制作门槛比较低。很多技术论坛社区有关于爬虫开发、研究、使用介绍,市面上也有很多专业的爬虫书籍。只要掌握Python编程语言,按照论坛、社区和书籍上提供的爬虫教程和实操案例,同时根据爬虫技术爱好者分享出来的平台、网站、App的API接口信息,就能够快速搭建出一套专门的爬虫工具。

基于城市消费券背后的爬虫,顶象认为可从以下几方面入手:

加强平台风险环境监测。定期对App的运行环境进行检测,对于存在代码注入、hook、模拟器、云手机、root、越狱等风险能够做到有效监控和拦截。

保障客户端安全。App和网页,可以分别部署H5混淆防护及端安全加固,以保障客户端安全。

通信链路强加密。Web端的JS、移动端的SDK均需要经过加固保护,提高攻击者逆向的难度。

策略层面建设基于场景的反爬策略。比如同设备关联的IP数异常、爬虫IP黑名单封禁、爬虫风险设备识别等等。

处置层进行风险分层,并下发不同的处置指令。比如系统判定为无风险/低风险时,则放行;系统判定为中风险是,则需进行人机验证;系统判断为高风险时,则立即阻断。

数据的分析总结层面,根据数据报表进行监控回溯,查看历史触发情况,进而对反爬策略进行优化升级。

在业务侧,针对批量爬虫的风险特征,可接入业务安全风控系统。同时将终端采集的设备指纹信息、用户行为数据等传输给风控系统,通过在风控系统配置相应的安全防控策略,有效地对风险进行识别和拦截。

1)设备终端环境检测。识别客户端(或浏览器)的设备指纹是否合法,是否存在注入、hook、模拟器等风险。通常批量作弊软件大多都存在以上风险特征。

2)行为检测。基于设备行为进行策略布控。针对同设备高频查询,同IP高频查询,相同IP段反复高频查询的请求进行监控。

3)名单库维护。统计基于风控历史数据,对于存在异常行为的账号、IP段进行标注,沉淀到相应的名单库。对于名单表内的数据在做策略时进行分层,适当加严管控。

4)外部数据服务。考虑对接手机号风险评分、IP风险库、代理邮箱检测等数据服务,对于风险进行有效识别和拦截。

同时,验证码和设备指纹也是反爬的重要手段。

验证码能够阻挡恶意爬虫盗用、盗取数据行为,防止个人信息、平台数据泄露。当某一设备或账户访问次数过多后,就自动让请求跳转到一个验证码页面,只有在输入正确的验证码之后才能继续访问网站。但是设置复杂的验证码会影响用户操作,带来负面的体验感受。

设备指纹及时识别注入、hook、模拟器等风险,风控引擎对注册、登录、领取等操作进行风险实时识别判定;智能模型平台帮助社交媒体构建专属风控模型,由此构建多维度防御体系,有效拦截各种恶意爬虫风险,且不影响正常用户体验。

加入社群

扫码进群领
【业务安全】资料礼包

在线咨询
400-878-6123