背景
小哥近来在通过动态代理池爬取一些公司需要的大文件pdf规格书的处理。遇到的难点，如何保证服务器CPU、连接数等正常情况下，多进程、异步快速处理这些业务并且保证准确。下面小哥就给看官唠嗑一下，我使用guzzlehttps如何处理的这一业务需求的。
梳理逻辑
-
多进程处理
保证并发处理，提高处理效率
-
异步处理
有些数据可能响应很快，有些很慢，不能因为一个进程阻塞其它业务正常执行影响爬取效率。
详细代码
/*** 使用guzzleHttp多进程异步远程下载文件* @param array $urlMap 多个远程爬取链接* @param string $localPath 本地保存路径*/public function downloadByGuzzlePoolAsync(array $urlMap,$localPath)
{//代理$proxy = 'http://http-dynamic-S04.xzzdaili.com:10030';$proxyUser = '1169461750313049664';$proxyPassword = 'lG9sMtTp';$proxyAuth = base64_encode($proxyUser . ":" . $proxyPassword);
$header = ['User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36','Referer' => 'https://exmaple.com','Proxy-Authorization' => "Basic " . $proxyAuth,'Content-Type' => 'application/pdf','content-encoding' => 'gzip, deflate, br, zstd','Accept' => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',];
$client = new Client();
$requests = function ($urlMap) use ($client,$localPath,$proxy,$header) {foreach ($urlMap as $url){yield $client->getAsync($url,['headers' => $header,'proxy' => $proxy,'verify' => false,'stream' => true,'sink' => $localPath])->then(function($resp) {echo "远程规格书获取成功，resp=" . jsonD($resp->getBody()) . PHP_EOL;},function($reason){echo '远程规格书获取失败 ：'.$reason. PHP_EOL;});}};
$pool = new \GuzzleHttp\Pool($client, $requests($urlMap), ['concurrency' => 5,//进程数'options' => ['timeout' => 10, // 设置超时s],'fulfilled' => function (Response $response, $index) use($localPath){//TODO 处理接口成功结果逻辑
// 创建请求$zacStream = fopen($localPath, 'wb');//流速写入文件：while (!$response->getBody()->eof()) {fwrite($zacStream, $response->getBody()->read(1024 * 1024)); // 读取1MB的数据}fclose($zacStream);echo 'GuzzleHttp进程池响应成功，index=' . $index . ' response=' . $response->getReasonPhrase() . PHP_EOL;
},'rejected' => function (RequestException $reason, $index) {//TODO 处理接口失败结果逻辑
echo 'index=' . $index . ' ,error=' .$reason->getMessage() . PHP_EOL;},]);
$promise = $pool->promise();
// 捕获请求异常$promise->then(function () {echo "所有请求都已成功完成" .PHP_EOL;},function (RequestException $e) {echo "发生了异常: " . $e->getMessage() . PHP_EOL;});
// 等待所有请求完成$promise->wait();
// // 访问每个请求的响应
// foreach ($pool->getRequests() as $request) {
// echo $request->getUri() . "\n";
// }
}
}以上是小哥本人文章的全部内容，希望总结会帮助到各位看官。最后，小哥温馨提示：每天阅读3分钟，天天学习一点点，天天进步一点点。
