doc update

README.md

@@ -231,6 +231,8 @@ reader和writer包括name和parameter，分别表示插件名称和插件参数
 * [MongoDB读取插件](docs/mongodbreader.md)
 * [Stream读取插件](docs/streamreader.md)
 * [Carbondata读取插件](docs/carbondatareader.md)
+* [MySQL binlog读取插件](docs/binlog.md)
+* [KafKa读取插件](docs/kafkareader.md)
 
 ### 5.2 写入插件
 
@@ -244,10 +246,23 @@ reader和writer包括name和parameter，分别表示插件名称和插件参数
 * [Redis写入插件](docs/rediswriter.md)
 * [Stream写入插件](docs/streamwriter.md)
 * [Carbondata写入插件](docs/carbondatawriter.md)
+* [Kafka写入插件](docs/kafkawriter.md)
+* [Hive写入插件](docs/hivewriter.md)
+
+[断点续传和实时采集功能介绍](docs/restore.md)
+
+[数据源开启Kerberos](docs/kerberos.md)
+
+[统计指标说明](docs/statistics.md)
 
 ## 6.版本说明
 
- 1.flinkx的分支版本跟flink的版本对应，比如：flinkx v1.4.0 对应 flink1.4.0,现在支持flink1.4和1.5
+ 1.flinkx的分支版本跟flink的版本对应，比如：flinkx v1.5.0 对应 flink1.5.0,版本说明：
+
+| 插件版本  | flink版本 |
+| ----- | ------- |
+| 1.5.x | 1.5.4   |
+| 1.8.x | 1.8.1   |
 
 ## 7.招聘信息
 

docs/binlog.md

@@ -0,0 +1,191 @@
+# MySQL binlog读取插件（*reader）
+
+## 1. 配置样例
+
+```json
+{
+    "job": {
+        "content": [{
+            "reader": {
+                "parameter": {
+                    "jdbcUrl" : "jdbc:mysql://127.0.0.1:3306/test?charset=utf8",
+                    "username" : "username"，
+                    "password" : "password",
+                    "host" : "127.0.0.1",
+                    "port": 3306,
+                    "table" : [ "test_sink" ],
+                    "filter" : "",
+                    "cat" : "insert,update,delete",
+                    "start" : {
+                        "journalName" : "bin.000004",
+                        "timestamp" : 123123
+                    },
+                    "pavingData" : false,
+                    "bufferSize" : 1024
+                },
+                "name": "binlogreader"
+            },
+            "writer": {
+
+            }
+        }]
+    },
+    "setting": {
+
+    }
+}
+```
+
+## 2. 参数说明
+
+* **name**
+
+  * 描述：插件名，此处填写插件名称。
+
+  * 必选：是
+
+  * 默认值：无
+
+* **jdbcUrl**
+
+  * 描述：MySQL数据库的jdbc连接字符串，参考文档：[Mysql官方文档](http://dev.mysql.com/doc/connector-j/en/connector-j-reference-configuration-properties.html)
+
+  * 必选：是
+
+  * 默认值：无 
+
+* **username**
+
+  * 描述：数据源的用户名 
+
+  * 必选：是 
+
+  * 默认值：无
+
+* **password**
+
+  * 描述：数据源指定用户名的密码 
+
+  * 必选：是
+
+  * 默认值：无
+
+* **host**
+
+  * 描述：启动MySQL slave的机器ip。
+
+  * 必选：是
+
+  * 默认值：无
+
+* **port**
+
+  * 描述：启动MySQL slave的端口
+
+  * 必选：否
+
+  * 默认值：3306
+
+* **table**
+
+  * 描述：需要解析的数据表。
+
+  * 注意：指定此参数后filter参数将无效。
+
+  * 必选：否
+
+  * 默认值：无
+
+* **filter**
+
+  * 描述：过滤表名的Perl正则表达式。
+
+  * 例子：
+
+    * 所有表：.*   or  .*\\..*
+
+    * canal schema下所有表： canal\\..*
+
+    * canal下的以canal打头的表：canal\\.canal.*
+
+    * canal schema下的一张表：canal\\.test1
+
+  * 必选：否
+
+  * 默认值：无
+
+* **cat**
+
+  * 描述：需要解析的数据更新类型，包括insert、update、delete三种。
+
+  * 注意：以英文逗号分割的格式填写。
+
+  * 必选：否
+
+  * 默认值：null
+
+* **start**
+
+  * 描述：要读取的binlog文件的开始位置。
+
+  * 参数：
+
+    * journalName：采集起点按文件开始时的文件名称；
+
+    * timestamp：采集七点按时间开始时的时间戳；
+
+  * 默认值：无
+
+* **pavingData**
+
+  * 描述：是否将解析出的json数据拍平
+
+  * 示例：假设解析的表为tb1,数据库为test，对tb1中的id字段做update操作，id原来的值为1，更新后为2，则pavingData为true时数据格式为：
+
+    ```json
+    {
+        "type":"update",
+        "schema":"test",
+        "table":"tb1",
+        "ts":1231232,
+        "ingestion":123213,
+        "before_id":1,
+        "after_id":2
+    }
+    ```
+
+    pavingData为false时：
+
+    ```json
+    {
+        "message":{
+             "type":"update",
+             "schema":"test",
+             "table":"tb1",
+             "ts":1231232,
+             "ingestion":123213,
+             "before_id":{
+                 "id":1
+             },
+             "after_id":{
+                 "id":2
+             }
+        }
+    }
+    ```
+
+    其中”ts“是数据变更时间，ingestion是插件解析这条数据的纳秒时间
+
+  * 必选：否
+
+  * 默认值：false
+
+* **bufferSize**
+
+  * 描述：并发缓存大小
+
+  * 注意：必须为2的幂
+
+  * 必选：否
+
+  * 默认值：1024

docs/hbasereader.md

@@ -2,50 +2,56 @@
 
 ## 1. 配置样例
 
-```
+```json
 {
-	"job": {
-		"setting": {},
-		"content": [{
-			"reader": {
-				"name": "hbasereader",
-				"parameter": {
-					"hbaseConfig": {
-						"hbase.zookeeper.property.clientPort": "2181",
-						"hbase.rootdir": "hdfs://ns1/hbase",
-						"hbase.cluster.distributed": "true",
-						"hbase.zookeeper.quorum": "host1,host2,host3",
-						"zookeeper.znode.parent": "/hbase"
-					},
-					"table": "tableTest",
-					"encodig": "utf-8",
-					"column": [{
-							"name": "rowkey",
-							"type": "string"
-						},
-						{
-							"name": "cf1:id",
-							"type": "string"
-						}
-					],
-					"range": {
-						"startRowkey": "",
-						"endRowkey": "",
-						"isBinaryRowkey": true
-					}
-				}
-			},
-			"writer": {}
-		}]
-	}
+    "job": {
+        "setting": {},
+        "content": [{
+            "reader": {
+                "name": "hbasereader",
+                "parameter": {
+                    "hbaseConfig": {
+                        "hbase.zookeeper.property.clientPort": "2181",
+                        "hbase.rootdir": "hdfs://ns1/hbase",
+                        "hbase.cluster.distributed": "true",
+                        "hbase.zookeeper.quorum": "host1,host2,host3",
+                        "zookeeper.znode.parent": "/hbase",
+                        "hbase.security.authentication":"Kerberos",
+                        "hbase.security.authorization":true,
+                        "hbase.master.kerberos.principal":"hbase/node1@TEST.COM",
+                        "hbase.master.keytab.file":"hbase.keytab",
+                        "hbase.regionserver.keytab.file":"hbase.keytab",
+                        "hbase.regionserver.kerberos.principal":"hbase/node1@TEST.COM"
+                    },
+                    "table": "tableTest",
+                    "encodig": "utf-8",
+                    "column": [{
+                            "name": "rowkey",
+                            "type": "string"
+                        },
+                        {
+                            "name": "cf1:id",
+                            "type": "string"
+                        }
+                    ],
+                    "range": {
+                        "startRowkey": "",
+                        "endRowkey": "",
+                        "isBinaryRowkey": true
+                    }
+                }
+            },
+            "writer": {}
+        }]
+    }
 }
 ```
 
 ## 2. 参数说明
 
 * **hbaseConfig**
 
-  * 描述：hbase的连接配置，以json的形式组织 (见hbase-site.xml)
+  * 描述：hbase的连接配置，以json的形式组织 (见hbase-site.xml)，开启kerberos的话参考文档[数据源开启Kerberos](kerberos.md)
 
   * 必选：是
 

docs/hbasewriter.md

@@ -2,7 +2,7 @@
 
 ## 1. 配置样例
 
-```
+```json
 {
     "job": {
         "setting": {
@@ -17,7 +17,13 @@
                             "hbase.rootdir": "hdfs://ns1/hbase",
                             "hbase.cluster.distributed": "true",
                             "hbase.zookeeper.quorum": "host1,host2,host3",
-                            "zookeeper.znode.parent": "/hbase"
+                            "zookeeper.znode.parent": "/hbase",
+                         "hbase.security.authentication":"Kerberos",
+ "hbase.security.authorization":true,
+ "hbase.master.kerberos.principal":"hbase/node1@TEST.COM",
+ "hbase.master.keytab.file":"hbase.keytab",
+ "hbase.regionserver.keytab.file":"hbase.keytab",
+ "hbase.regionserver.kerberos.principal":"hbase/node1@TEST.COM"
                         },
                         "table": "tableTest",
                         "rowkeyColumn": [{
@@ -50,7 +56,7 @@
 
 * **hbaseConfig**
 
-  * 描述：hbase的连接配置，以json的形式组织 (见hbase-site.xml)
+  * 描述：hbase的连接配置，以json的形式组织 (见hbase-site.xml)，开启kerberos的话参考文档[数据源开启Kerberos](kerberos.md)
 
   * 必选：是 
 

docs/hdfsreader.md

@@ -41,7 +41,7 @@
 
 * **path**
 
-  * 描述：要读取的文件路径，多个路径可以用逗号隔开
+  * 描述：要读取的文件路径，多个路径可以用逗号隔开，开启kerberos的话参考文档[数据源开启Kerberos](kerberos.md)。
 
   * 必选：是 <br />
 

docs/hdfswriter.md

@@ -43,7 +43,7 @@
 
 * **defaultFS**
 
-  * 描述：Hadoop hdfs文件系统namenode节点地址。格式：hdfs://ip:端口；例如：hdfs://127.0.0.1:9000<br />
+  * 描述：Hadoop hdfs文件系统namenode节点地址。格式：hdfs://ip:端口；例如：hdfs://127.0.0.1:9
 
   * 必选：是 <br />