梅州建站方法_上海公司网站建设哪家好_山东工艺美术学院网站建设公司_seo深度优化公司

背景

小哥近来在通过动态代理池爬取一些公司需要的大文件pdf规格书的处理。遇到的难点，如何保证服务器CPU、连接数等正常情况下，多进程、异步快速处理这些业务并且保证准确。下面小哥就给看官唠嗑一下，我使用guzzlehttps如何处理的这一业务需求的。

梳理逻辑

• 多进程处理

  保证并发处理，提高处理效率

• 异步处理

  有些数据可能响应很快，有些很慢，不能因为一个进程阻塞其它业务正常执行影响爬取效率。

详细代码

 /*** 使用guzzleHttp多进程异步远程下载文件* @param array $urlMap 多个远程爬取链接* @param string $localPath 本地保存路径*/public function downloadByGuzzlePoolAsync(array $urlMap,$localPath)
{//代理$proxy = 'http://http-dynamic-S04.xzzdaili.com:10030';$proxyUser = '1169461750313049664';$proxyPassword = 'lG9sMtTp';$proxyAuth = base64_encode($proxyUser . ":" . $proxyPassword);
​$header = ['User-Agent'    => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36','Referer'       => 'https://exmaple.com','Proxy-Authorization'  => "Basic " . $proxyAuth,'Content-Type'  => 'application/pdf','content-encoding' => 'gzip, deflate, br, zstd','Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',];
​$client = new Client();
​$requests = function ($urlMap) use ($client,$localPath,$proxy,$header) {foreach ($urlMap as $url){yield $client->getAsync($url,['headers'   => $header,'proxy'     => $proxy,'verify' => false,'stream' => true,'sink' => $localPath])->then(function($resp) {echo "远程规格书获取成功，resp=" . jsonD($resp->getBody()) . PHP_EOL;},function($reason){echo '远程规格书获取失败 ：'.$reason. PHP_EOL;});}};
​$pool = new \GuzzleHttp\Pool($client, $requests($urlMap), ['concurrency' => 5,//进程数'options' => ['timeout' => 10, // 设置超时s],'fulfilled' => function (Response $response, $index) use($localPath){//TODO 处理接口成功结果逻辑
​// 创建请求$zacStream = fopen($localPath, 'wb');//流速写入文件：while (!$response->getBody()->eof()) {fwrite($zacStream, $response->getBody()->read(1024 * 1024)); // 读取1MB的数据}fclose($zacStream);echo 'GuzzleHttp进程池响应成功，index=' . $index . ' response=' . $response->getReasonPhrase() . PHP_EOL;
​},'rejected' => function (RequestException $reason, $index) {//TODO 处理接口失败结果逻辑
​echo 'index=' . $index . ' ,error=' .$reason->getMessage() . PHP_EOL;},]);
​$promise = $pool->promise();
​// 捕获请求异常$promise->then(function () {echo "所有请求都已成功完成" .PHP_EOL;},function (RequestException $e) {echo "发生了异常: " . $e->getMessage() . PHP_EOL;});
​// 等待所有请求完成$promise->wait();
​
//        // 访问每个请求的响应
//        foreach ($pool->getRequests() as $request) {
//            echo $request->getUri() . "\n";
//        }
​}
}

以上是小哥本人文章的全部内容，希望总结会帮助到各位看官。最后，小哥温馨提示：每天阅读3分钟，天天学习一点点，天天进步一点点。