node.js request maxSockets limit not work

twaiho2003

個program 係web scraping, 我想set個concurrent request limit, 但係跟住個document做都唔得
https://github.com/request/request

1. var pool = { maxSockets: 1 }
   
2. 
   
3. function requestHtmlPage(url) {
   
4.     const requestOptions = {
   
5.         url: url,
   
6.                 headers: {
   
7.                         'User-Agent': 'Mozilla/5.0'
   
8.                 },
   
9.                 agentOptions: {
   
10.                         rejectUnauthorized: false
    
11.                 },
    
12.                 pool: pool
    
13.     }
    
14. 
    
15.     var contentLength = 0
    
16.     var currentRequest = request(requestOptions, (error, response, body) => {
    
17.             if (error) {
    
18.                 //console.log(`request-error: ${error}`)
    
19.             } else if (response.statusCode == 200) {
    
20. 
    
21.                 const foundUrls = parse.getLinks(body, url)
    
22.                 for (const foundUrl of foundUrls) {
    
23.                     if (!uniqueUrls.has(foundUrl)) {
    
24.                         uniqueUrls.add(foundUrl)
    
25.                         requestHtmlPage(foundUrl)
    
26.                     }
    
27.                 }
    
28.             } else {
    
29.                 //console.log('broken: ' + url)
    
30.             }
    
31.         })
    
32.         .on('data', (data) => {
    
33.             contentLength += data.length
    
34.             if (contentLength > 262144) {
    
35.                 //console.log('toobig: ' + url)
    
36.                 currentRequest.abort()
    
37.             }
    
38.         })
    
39. }

複製代碼