Go by Example: Worker Pools

ここでは、ゴルーチンとチャネルを使って、 ワーカープール (worker pool) を実装する例を見ていきます。

 
package main
 
import (
    "fmt"
    "time"
)

これは、複数インスタンスが並行実行されるワーカーです。 これらのワーカーは、jobs チャネルからタスクを受信し、 結果を results チャネルに送信します。 実行コストの高いジョブをシミュレートするため、 各タスクは 1 秒スリープします。

 
func worker(id int, jobs <-chan int, results chan<- int) {
    for j := range jobs {
        fmt.Println("worker", id, "started  job", j)
        time.Sleep(time.Second)
        fmt.Println("worker", id, "finished job", j)
        results <- j * 2
    }
}
 
func main() {

ワーカープールを使うためには、タスクをワーカーに送信し、 それらの結果を集める必要があります。 そのために、2 つのチャネルを作成します。

 
    const numJobs = 5
    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

ここで、3 つのワーカーを開始しますが、 最初はまだジョブがないためブロックします。

 
    for w := 1; w <= 3; w++ {
        go worker(w, jobs, results)
    }

次に、5 つのジョブを送信し、それがすべてであることを 伝えるためにチャネルを close します。

 
    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

最後に、すべてのタスクの結果を集めます。 これにより、ワーカーのゴルーチンが完了することも保証します。 複数のゴルーチンを待つ別の方法としては、 WaitGroup が使えます。

 
    for a := 1; a <= numJobs; a++ {
        <-results
    }
}

実行したプログラムは、5 つのジョブが様々なワーカーで 実行されていることを示します。このプログラムは、 合計で 5 秒分のタスクを実行するにもかかわらす、 2 秒しかかかりません。 というのも、3 つのワーカーが並行実行されるからです。

 
$ time go run worker-pools.go 
worker 1 started  job 1
worker 2 started  job 2
worker 3 started  job 3
worker 1 finished job 1
worker 1 started  job 4
worker 2 finished job 2
worker 2 started  job 5
worker 3 finished job 3
worker 1 finished job 4
worker 2 finished job 5
 
real    0m2.358s

Next example: WaitGroups.

by Mark McGranaghan and Eli Bendersky (translated by @oohira) | feedback | license