Cakephp中HttpSocket的使用

最新推荐文章于 2021-01-27 11:52:43 发布

原创最新推荐文章于 2021-01-27 11:52:43 发布 · 625 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#cakephp #function #import #file #url

本文介绍了一个使用CakePHP框架中的HttpSocket类实现的简单网络爬虫示例。该示例从新浪图片网站抓取页面内容，解析出图片链接，并将图片下载保存到本地指定目录。

CakePHP包含一个HttpSocket类，通过它，可以方便的请求网络上的东西.下面的代码用httpsocket获取网页的内容，分析出其中的图片地址，保存到本地，只是一个小例子。

<?php class ImagesController extends AppController { var $name = "Images"; var $uses = array(); function get_img() { $content = $this->getContentFromUrl('http://photo.sina.com.cn/'); preg_match_all('/<img[^>]*//?>/',$content,$matches); $matches = $matches[0]; foreach ($matches as &$m) { if (empty($m)) { continue; } preg_match('/src="([^"]*)"/i',$m,$x); if (!empty($x[1])) { $m = $x[1]; } if (!empty($m)) { $arr[] = $m; } } $this->saveImages($arr,'/mnt/win/htdocs/mp/webroot/got/'); //$this->getHrefs('http://photo.sina.com.cn/',$arr); $this->set(compact('matches')); } private function getContentFromUrl($url) { if (!preg_match('/(http|https)?[a-zA-Z0-9-.//]+/',$url)) { return false; } APP::import('Core','HttpSocket'); $hr = new HttpSocket(); $str = $hr->get($url); return $str; } private function saveImages($arr,$saveToPath) { if (empty($arr)) { return FALSE; } if (!file_exists($saveToPath)) { return false; } APP::import('Core','HttpSocket'); $hr = new HttpSocket(); $i = 0; foreach ($arr as $a) { $i++; $fileType = $this->getFileType($a); $fileName = $saveToPath.'/'.date('YmdHis').$fileType; if (file_exists($fileName)) { sleep(1); $fileName = $saveToPath.'/'.date('YmdHis').$fileType; } $handler = fopen($fileName,'w+'); $imgContent = $hr->get($a); if (strlen($imgContent)) { if (file_put_contents($fileName,$imgContent)) { pr('saved success'); } } } } private function getFileType($fileName) { preg_match('//.[a-zA-Z]{1,5}$/i',$fileName,$tmp); if (!empty($tmp)) { return $tmp[0]; } } private function getHrefs($startUrl,&$curUrls=array(),$curLoop=0) { if (empty($startUrl)) { return FALSE; } if ($curLoop >= 3) { return TRUE; } APP::import('Core','HttpSocket'); $pattern = '/(<a[^>]*>)(.*)(<//a>)/'; $hr = new HttpSocket(); $startContent = $hr->get($startUrl); $hrefs = preg_match_all($pattern,$startContent,$matches); if (empty($matches)) { return TRUE; } $curLoop ++; $curUrls = array_merge($curUrls,$matches); foreach ($matches as $m) { if (empty($m)) { continue; } $this->getHrefs($m,$curUrls,$curLoop); } } } ?>