在go语言中使用GoRoutines实现高性能并发批量调用api示例

2023-06-01 00:00:00 示例 并发 高性能

go语言是一种非常高效的语言,特别是在并发调度上,go使用自己的goroutines调度器将其轻量级goroutines从操作系统线程中进一步抽象出来。

如果一个goroutine被阻塞了,Go的调度器会在它的位置上切换另一个goroutine,以尽可能地保持线程的忙碌。


那么,我们如何使用Golang来并发地进行多个http调用呢?


Go总是至少有一个goroutine在运行,它负责运行main()。

Go Scheduler允许开发者制作成千上万个这种轻量级的goroutines,并为我们管理每个goroutines所花费的CPU时间。

每当一个以go为前缀的函数被执行时,就会创建一个新的goroutine来运行该函数,主goroutine在生成一个新的goroutine后立即继续前进,

直到它遇到一个阻塞操作符。


高性能调用示例


第一:

我们需要添加一个叫做通道的东西。

由于在自己的goroutine中运行的Golang函数只是简单的函数,我们需要一种方法,通过它内部的goroutine可以把它们的结果告诉外部的goroutine;

这就是使用通道来实现的。

我们通过以下方式初始化它们: 

c := make(chan string) 

我们能够使用<- 箭头将结果值发送到我们的通道,我们也可以使用这个箭头将通道的值分配出去。


第二:

我们需要添加一个跟踪器,来跟踪我们应该期待多少个值从这个通道出来。

这可以通过使用

sync.WaitGroup.WaitGroup

的类型来完成。


代码如下:

import (
    "fmt"
    "net/http"
    "sync"
)

func checkUrls(urls []string) {
   c := make(chan string)
   var wg sync.WaitGroup

   for _, link := range urls {
       wg.Add(1)   // 这告诉wg,现在这里有一个待处理的操作。
       go checkUrl(link, c, &wg)
   }

   go func() {
       wg.Wait()   // 这将阻止Goroutine,直到WaitGroup计数器为零。
       close(c)    // 通道需要被关闭,否则下面的循环将永远持续下去
   }()

   // 这个简略的循环是一个无休止的循环的语法糖,它只是在等待结果通过'c'通道进入。
   for msg := range c {
       fmt.Println(msg)
   }
}

func checkUrl(url string, c chan string, wg *sync.WaitGroup) {
   defer (*wg).Done()
   _, err := http.Get(url)

   if err != nil {
       c <- "#janrs.com#We could not reach:" + url    // 将结果输入通道
   } else {
       c <- "Success reaching the website:" + url    // 将结果输入通道
   }
}

func main() {
    links := []string{
        "https://github.com/fabpot",
        "https://github.com/andrew",
        "https://github.com/taylorotwell",
        "https://github.com/egoist",
        "https://github.com/HugoGiraudel",
    }
   
    checkUrls(links)
}


有兴趣的可以自行测试一下

相关文章