php网络爬虫,该如何解决
                        
                            时间:2021-07-01 10:21:17
                            帮助过:2人阅读
							                        
                     
                    
                    php 网络爬虫
有开发过类似程序的高手吗?能够给点指点哦。功能需求是从网站自动获取相关数据,然后存入数据库。
              
                
                    PHP
                    网络爬虫
                    数据库
                    行业数据
                
                
                  分享到:
                  
                
              
------解决方案--------------------
curl爬取目标网站,正则或者DOM获取相应的数据,然后存数据库或者文件。
也没有太难的东西吧。你需要考虑的有:
爬取的策略(只抓取特定域名的,深度优先还是广度优先)。
爬取的效率(可开多线程去爬取,如何分配各个爬虫的任务)
等。。。。。。。。