1032082.png

afweasdfaww

GF  2019-05-19 20:03

[技术帖]我用爬虫爬了猫片所有的资源


用的是python+mysql    
爬出来一共2k+数据
而且我会实时更新的。    
毕竟我是猫片的终身会员。    
我就想知道放出来会不会被小黑屋啊?    
需要账户和密码。

Wa56pASgIMbrdLV.jpg

丫丫

B1F  2019-05-30 23:46
(灾难始终慢我一步)

回 116楼(088b2324) 的帖子

网站返回404,表示网站链接不存在,检查一下字符串处理网站链接的规则有没有写错

插入数据库报异常,原因有很多,比如:
数据库没装成功,没建表
字段类型不对
SQL语句没写对
...
完整的数据库基础语法和逻辑大概几十个课时就可以学会了,可以去B站搜几套免费教程学一下

不过数据库并不是必要的,只有几千条数据的情况下,完全可以用json模块直接把数据写入文件
具体步骤如下:
1.把爬取到的内容转为字典,然后用json.dumps转为字符串
2.追加写入文件,每行一条数据
CSV也可以实现类似功能