记录下目前在做的一些事情和自己的一些目标

1.心里的一块疙瘩

这个月准备练练手做一个小说程序,之前答应过他们做一套小说程序,半年了删了改改了删,然后放弃了!不过这个在我心里一直都是一块疙瘩!所以还是决定搞出来
但是采集这块对服务器要求太高了!所有决定多做几个采集系统,喜欢用哪个就用哪个!

采集这块写了七八种采集方式!但是没有一种是效率特别高的!要不是慢,就是系统出错!一次采集的东西太多了!可能是我的技术还不够吧!
目前采集的目标是起点的排行榜一次采集就是,25个页面!大概500个小说!500个小说 要去匹配其他小说网站的数据,需要匹配500次也就是500个页面! 这就是1000多个页面!抓取时间过长就会出现错误!

谁要有好的技术方案,可以提供一下!实在不行的话,写个我就接口功能!服务器比较好的,可以以付费免费的方式给服务器比较差的提供采集接口服务器! 挺烦的!这个东西我也做不完美!只能一步一步进行更新了!

2.做自己的开源

也算是给自己做做的规划吧,业余时间做一些开源的程序和工具包!

1.小说程序 – 就是这个小说程序!也没啥好说的,对这个程序的想法一大把,到最后看实现吧!

2.工具包 – 因为在做开发的时候会经常处理时间时间戳的转化或者取值!或者其他的一些字符串处理!所以我心中出现一个做自己的工具包的想法!虽然有待实现!

3.社区程序 - 做一个自己的社区程序!对接小程序,APP,H5,PC端;

目前有这些想法,第一个正在实现,第二个正在构想,第三个目前还是在幻想中!:triumph::triumph::triumph::triumph::triumph:

2.学习目标

1.PHP

1. Mysql -这个是最重要的 必须要深入研究

2.swoole 和 Workerman 必须学一个!

3.TP框架和Larvel框架 深入学习

积累知识,积累知识,积累知识,重要的事情说三遍


2.前端

1.ES6 -现在都得用这个了!也必须学 Javascript 的一些框架不学觉得对不起自己

2.H5 CSS3 Sass LESS 这一些我都不想放过

3.node.js npm 我也不想剩下

4.学习 Vue –现在好像整个世界都是Vue的了 就连APP 和 桌面程序都是了

5.学习 electron – 这个不知道为啥就是想学学!嘿嘿

6.学习 uniapp - 这个是为了好玩!

学习一门技术活,可惜我放在前端上面的时间不能太多


3.Linux

                    这个需要学习,必须学!只能死记硬背了

先写这点吧,欢迎志同道合的道友评论留下QQ前来交流!


码酷博客 » 记录下目前在做的一些事情和自己的一些目标

10 评论

  1. 小说程序采集问题 可以参考一下ptcms 采集方式 总体来说还是不错的 出错不太多的
    或者是 直接考虑Python或者golang 这两者用来做采集都是很不错的
    去年有一段时间 专门写了个linux端的 Python采集器 是针对于杰奇 和ptcms的 实际使用
    还是非常不错的 可以考虑一下

    1. 我是没有用过ptcms,我这个只是采集信息,并不采集内容!前台通过解析收集到的url远程读取小说信息

      1. 是一样的,ptcms也是如此 做的挺早的了 可以称之为小偷程序,只采集信息以及章节地址等,然后curl或者是file_get_contents 等等 来抓取 可以参考一下 源码百度就有 更好的推荐其实是Python和golang 因为我当时就是受不了朋友跟我一直说他的辣鸡采集 才写的采集器

        1. 哦哦!你写的采集器哪里可以找到!观摩一下!

          1. 之前有放在一台存储服务器 很久没有维护了 其实就是Python对接的ptcms的 挺简单的东西

            1. 哦哦!好吧,好久没摸过python了!

  2. 站长辛苦了,谢谢分享有用的东西,留言支持下

  3. 小说程序开发一个还是很不错的,弄个自带采集功能的

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据

10 评论

  1. 小说程序采集问题 可以参考一下ptcms 采集方式 总体来说还是不错的 出错不太多的
    或者是 直接考虑Python或者golang 这两者用来做采集都是很不错的
    去年有一段时间 专门写了个linux端的 Python采集器 是针对于杰奇 和ptcms的 实际使用
    还是非常不错的 可以考虑一下

    1. 我是没有用过ptcms,我这个只是采集信息,并不采集内容!前台通过解析收集到的url远程读取小说信息

      1. 是一样的,ptcms也是如此 做的挺早的了 可以称之为小偷程序,只采集信息以及章节地址等,然后curl或者是file_get_contents 等等 来抓取 可以参考一下 源码百度就有 更好的推荐其实是Python和golang 因为我当时就是受不了朋友跟我一直说他的辣鸡采集 才写的采集器

        1. 哦哦!你写的采集器哪里可以找到!观摩一下!

          1. 之前有放在一台存储服务器 很久没有维护了 其实就是Python对接的ptcms的 挺简单的东西

            1. 哦哦!好吧,好久没摸过python了!

  2. 站长辛苦了,谢谢分享有用的东西,留言支持下

  3. 小说程序开发一个还是很不错的,弄个自带采集功能的

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据