春满四合院这个H文网站想必大家都不陌生,可以说是中文H小说界的鼻祖平台了。最近我把我多年前做的爬虫给翻了出来,重新改了改,花了2个小时把春满四合院的转贴区的全部小说,共35000多部统一
爬取、排版、繁体转简体后保存。
主要的难点其实不在于爬取,而是如何排版:小说的发布者多不胜数,每个人的排版格式都不一样,比如有人喜欢每段之间空一行,有人不空。有人喜欢一行20个字,有人就不管随它去。
发布习惯也不同,有的人1层楼就把10章都发出去,有的人10章发了10层楼,中间还加杂着其他人的回复,而春满四合院又没有“只看楼主”功能.......
因此设计一个能满足以上要求的排版方法就比较困难,我也是尝试了很久才弄出来。现在总共35000部小说已经全部爬取完毕,分类,保存成兼容性最广的txt格式,排版也是最利于阅读,放到手机上也能被阅读应用识别的。
如果我看比较多人想要,应该会找个区发布
。
PS. 我还顺便爬了“诗情画意”区,不过那又是另外一个故事了。