非提

B124F 2019-05-28 15:44

（https://zhb.eehentai.com/ http://cn.anmaxjp.com/ www.soushu2023.com）

只看该作者 | | 小中大

技术大佬

顶端

yzw111

B125F 2019-05-28 15:53

| ▼展开

只看该作者 | | 小中大

我超勇的

B126F 2019-05-28 16:53

（哎哟，你脸红啦）

只看该作者 | | 小中大

其实获取不难，难的是转存。。。

顶端

やさしい

B127F 2019-05-28 16:56

（我们只是太浮躁，希望的付出却是背道而驰。）

只看该作者 | | 小中大

大佬这么厉害的嘛~

顶端

就是我

B128F 2019-05-28 17:07

（大笨蛋是我）

只看该作者 | | 小中大

牛掰了

顶端

天朝德鲁伊

B129F 2019-05-28 17:11

只看该作者 | | 小中大

南+人才多

顶端

天朝德鲁伊

B130F 2019-05-28 17:12

只看该作者 | | 小中大

南+人才多

顶端

Alastor

B131F 2019-05-28 17:17

（嘀嘀啵唧嘀嘀啵啵吔~~~~）

只看该作者 | | 小中大

gkd gkd

顶端

sins7

B132F 2019-05-30 00:05

只看该作者 | | 小中大

大佬不得了啊！

顶端

2a2053bb

B133F 2019-05-30 21:33

（不知不觉已经注册四年了）

只看该作者 | | 小中大

楼主你的代码爆了

顶端

sunsun

B134F 2019-05-30 21:38

只看该作者 | | 小中大

用户被禁言,该主题自动屏蔽!

顶端

0c80f838

B135F 2019-05-30 22:18

只看该作者 | | 小中大

搞起来,搞起来,搞起来,搞起来,

顶端

张冰

B136F 2019-05-30 22:20

（福自己求。）

只看该作者 | | 小中大

GKD

顶端

f80a2436

B137F 2019-05-30 22:48

（一切如云烟）

只看该作者 | | 小中大

老哥，python学了多久了

顶端

woshidashabi

B138F 2019-05-30 23:02

只看该作者 | | 小中大

围观就完事了

顶端

911da440

B139F 2019-05-30 23:05

（要艺术，又要商业）

只看该作者 | | 小中大

不懂只能学习

顶端

☹️

B140F 2019-05-30 23:08

只看该作者 | | 小中大

牛逼

顶端

谙邪

B141F 2019-05-30 23:16

（í eilíflegum hring）

只看该作者 | | 小中大

老哥有点强阿，技术宅的胜利

顶端

幽喵

B142F 2019-05-30 23:22

只看该作者 | | 小中大

代码能再发一次么？买了失效了啊

顶端

掘

B143F 2019-05-30 23:29

只看该作者 | | 小中大

回 5楼(swing1007) 的帖子

链接炸了

顶端

丫丫

B144F 2019-05-30 23:46

（灾难始终慢我一步）

只看该作者 | | 小中大

回 116楼(088b2324) 的帖子

网站返回404，表示网站链接不存在，检查一下字符串处理网站链接的规则有没有写错

插入数据库报异常，原因有很多，比如：
数据库没装成功，没建表
字段类型不对
SQL语句没写对
...
完整的数据库基础语法和逻辑大概几十个课时就可以学会了，可以去B站搜几套免费教程学一下

不过数据库并不是必要的，只有几千条数据的情况下，完全可以用json模块直接把数据写入文件
具体步骤如下：
1.把爬取到的内容转为字典，然后用json.dumps转为字符串
2.追加写入文件，每行一条数据
CSV也可以实现类似功能

顶端

☆壹十三★

B145F 2019-05-30 23:54

（混沌邪恶）

只看该作者 | | 小中大

技术宅的胜利？

顶端

NtR

B146F 2019-05-31 00:00

只看该作者 | | 小中大

回 9楼(swing1007) 的帖子

链接又炸了

顶端

sakjsak

B147F 2019-05-31 16:02

（sakjsak）

只看该作者 | | 小中大

技术宅又出来拯救世界啦

顶端

yzw111

B148F 2019-05-31 16:18

| ▼展开

只看该作者 | | 小中大

Demon

B149F 2019-05-31 16:27

只看该作者 | | 小中大

能导出个SQL文件吗

顶端

惜绝

B150F 2019-05-31 17:02

只看该作者 | | 小中大

我对猫片没兴趣，我只对你的技术有兴趣？可以教教我吗！我想以后有一门技术混饭吃

顶端

面具下的我

B151F 2019-05-31 17:15

只看该作者 | | 小中大

nice楼主

顶端

sourindeed

B152F 2019-05-31 17:25

（撒谎也没有用啊）

只看该作者 | | 小中大

所有非正常的状态码都要过滤一下（包括4xx，5xx，3xx重定向的）
爬取时间需要以指数去访问，不容易看出来是爬虫

顶端

1

B153F 2019-05-31 18:03

只看该作者 | | 小中大

围观技术佬

顶端

自行车

B154F 2019-05-31 18:04

只看该作者 | | 小中大

只怪我当初学错了专业，结果啥都看不懂

顶端

漫区特设

蜜柑计划

综合交流

人民囧府

回 5楼(swing1007) 的帖子

回 116楼(088b2324) 的帖子

回 9楼(swing1007) 的帖子