最近对一个小项目进行了重构。整个后台逻辑修改了一遍。

逻辑大概是这样子的。

爬虫定期从某些网站增量采集资讯。

然后塞入elasticsearch库。

会有另外一个任务去把最新采集的资讯进行筛选。

提取出有用的信息,发送给订阅者。

订阅者事先在网上基于关键词和网站提交订阅。

这是第三次修改逻辑了。

修改之后,今早开始进行初步测试。

测试发现,爬虫可以正常运行,数据可以正常入库,但最终订阅者没有收到信息。

因为还没有特别多的测试及debug经验,最后花费了五个小时才解决掉这个问题。

最后发现问题出在搜索模块上。因为此前对爬虫进行升级时,修改了一些字段,搜索模块作为核心模块,之前没有轻易动,天真地以为不需要改,最后才发现,content字段之前加了个s,这次没有。

当然,这是核心bug。

后来又修改了search的参数问题。

这次debug经历告诉我,一定要学会追本溯源,print也是挺好用的。

 

分类: Error

0 条评论

发表回复

Avatar placeholder

您的电子邮箱地址不会被公开。