简化 zerg_crawl 调用样例代码

Author: huichen

README.md

@@ -18,11 +18,11 @@
 
 我把 etcd 容器化了，并开发了脚本使得部署 etcd cluster 非常容易，见 [github.com/huichen/etcd_docker](https://github.com/huichen/etcd_docker)
 
-为了容灾，请至少在三台服务器上运行 etcd 实例。为了方便调用，你可以固定 etc endpoint 的端口号，并在所有机器上手工添加 etcd host 的hostname。
+为了容灾，请至少在三台服务器上运行 etcd 实例。为了方便调用，你可以固定 etc endpoint 的端口号，并在所有机器上手工添加 etcd host 的 hostname。
 
 #### 第二步：启动 registrator 服务发现程序
 
-你需要在集群的每一台服务器上都运行 registrator，这使得我们可以自动发现和注册 dist_crawl 服务
+你需要在集群的每一台服务器上都运行 registrator，这使得我们可以自动发现和注册分布式服务
 
 ```
 docker run -d --name=registrator --net=host --volume=/var/run/docker.sock:/tmp/docker.sock \
@@ -45,7 +45,7 @@ docker run -d --name=registrator --net=host --volume=/var/run/docker.sock:/tmp/d
 docker run -d -P -v /opt/zerg_cache:/cache unmerged/zerg
 ```
 
-registrator 会自动注册这些服务到 etcd。如果单机有多个IP，你可以单机启动多个容器，并在 -P 中分别指定IP。
+registrator 会自动注册这些服务到 etcd。如果单机有多个 IP，你可以单机启动多个容器，并在 -P 中分别指定 IP。
 
 抓取的页面内容会通过 docker volume 存储在 /opt/zerg_cache 目录下。
 

example/zerg_crawl.go

@@ -9,7 +9,6 @@ import (
 )
 
 var (
-	address     = flag.String("address", ":50051", "服务器地址")
 	url         = flag.String("url", "", "URL")
 	freq        = flag.Int64("freq", 0, "抓取频率")
 	endPoints   = flag.String("endpoints", "", "半角逗号分隔的 etcd 接入点列表，每个接入点地址以 http:// 开始")
@@ -19,30 +18,30 @@ var (
 func main() {
 	flag.Parse()
 
-	if *url == "" {
-		log.Fatal("--url 参数不能为空")
-	}
-
+	// 创建新 ZergClient
 	zc, err := zerg_client.NewZergClient(*endPoints, *serviceName)
 	if err != nil {
 		log.Fatal(err)
 	}
 	defer zc.Close()
 
-	request := pb.CrawlRequest{Url: *url, Timeout: 10000, CrawlFrequency: *freq}
-	log.Printf("开始抓取")
-	for i := 0; i < 10; i++ {
-		// 调用 client.Crawl 前必须先调用 Get 命令获取 client，client 通过 url 的一致性哈希进行分配
-		client, err := zc.Get(*url)
-		if err != nil {
-			log.Fatal(err)
+	// 调用 client.Crawl 前必须先调用 Get 命令获取 CrawlClient，通过 url 的一致性哈希进行分配
+	// 不同的 url 要分别调用 Get 得到不同的 CrawlClient
+	if crawlClient, err := zc.Get(*url); err == nil {
+		// RPC 调用
+		request := pb.CrawlRequest{
+			Url:            *url,
+			Timeout:        10000, // 超时 10 秒
+			CrawlFrequency: *freq,
 		}
-
-		response, err := client.Crawl(context.Background(), &request)
+		response, err := crawlClient.Crawl(context.Background(), &request)
 		if err != nil {
+			// 处理异常
 			log.Fatal(err)
 		}
-		log.Printf("%+v", response.Metadata)
-		log.Printf("%d", len(response.Content))
+
+		// 处理返回结果
+		log.Printf("metadata = %+v", response.Metadata)
+		log.Printf("page content length = %d", len(response.Content))
 	}
 }