最近对一个小项目进行了重构。整个后台逻辑修改了一遍。
逻辑大概是这样子的。
爬虫定期从某些网站增量采集资讯。
然后塞入elasticsearch库。
会有另外一个任务去把最新采集的资讯进行筛选。
提取出有用的信息,发送给订阅者。
订阅者事先在网上基于关键词和网站提交订阅。
这是第三次修改逻辑了。
修改之后,今早开始进行初步测试。
测试发现,爬虫可以正常运行,数据可以正常入库,但最终订阅者没有收到信息。
因为还没有特别多的测试及debug经验,最后花费了五个小时才解决掉这个问题。
最后发现问题出在搜索模块上。因为此前对爬虫进行升级时,修改了一些字段,搜索模块作为核心模块,之前没有轻易动,天真地以为不需要改,最后才发现,content字段之前加了个s,这次没有。
当然,这是核心bug。
后来又修改了search的参数问题。
这次debug经历告诉我,一定要学会追本溯源,print也是挺好用的。
0 条评论