1.6

README.md

@@ -53,7 +53,7 @@ mvn clean package -Dmaven.test.skip
 	* 描述：执行模式，也就是flink集群的工作模式
 		* local: 本地模式
 		* standalone: 独立部署模式的flink集群
-		* yarn: yarn模式的flink集群（暂不支持）
+		* yarn: yarn模式的flink集群
 	* 必选：否
 	* 默认值：local
 
@@ -71,19 +71,30 @@ mvn clean package -Dmaven.test.skip
 	* 描述：flink配置文件所在的目录（单机模式下不需要），如/hadoop/flink-1.4.0/conf
 	* 必选：否
 	* 默认值：无
+
+* **yarnconf**
+	* 描述：Hadoop配置文件（包括hdfs和yarn）所在的目录（单机模式下不需要），如/hadoop/etc/hadoop
+	* 必选：否
+	* 默认值：无
 
 #### 3.4.2 启动数据同步任务
 * **以本地模式启动数据同步任务**
 
 ```
 bin/flinkx -mode local -job /Users/softfly/company/flink-data-transfer/jobs/task_to_run.json -plugin /Users/softfly/company/flink-data-transfer/plugins
 ```
-* **以分布式模式启动数据同步任务**
+* **以standalone模式启动数据同步任务**
 
 ```
 bin/flinkx -mode standalone -job /Users/softfly/company/flink-data-transfer/jobs/oracle_to_oracle.json  -plugin /Users/softfly/company/flink-data-transfer/plugins -flinkconf /hadoop/flink-1.4.0/conf
 ```
 
+* **以yarn模式启动数据同步任务**
+
+```
+bin/flinkx -mode yarn -job /Users/softfly/company/flinkx/jobs/mysql_to_mysql.json  -plugin /opt/dtstack/flinkplugin/syncplugin -flinkconf /opt/dtstack/myconf/conf -yarnconf /opt/dtstack/myconf/hadoop
+```
+
 ## 4 数据同步任务模版
 
 从最高空俯视，一个数据同步的构成很简单，如下：
@@ -139,7 +150,7 @@ setting包括speed、errorLimit和dirty三部分，分别描述限速、错误
 #### 4.1.3 dirty
 
 ```
-			"dirty": {
+		"dirty": {
                 "path": "/tmp",
                 "hadoopConfig": {
                     "fs.default.name": "hdfs://ns1",

flinkx-core/pom.xml

@@ -31,11 +31,11 @@
             <version>2.7</version>
         </dependency>
 
-        <!--<dependency>-->
-            <!--<groupId>ch.qos.logback</groupId>-->
-            <!--<artifactId>logback-classic</artifactId>-->
-            <!--<version>1.1.7</version>-->
-        <!--</dependency>-->
+        <dependency>
+            <groupId>ch.qos.logback</groupId>
+            <artifactId>logback-classic</artifactId>
+            <version>1.1.7</version>
+        </dependency>
 
         <dependency>
             <groupId>org.slf4j</groupId>

flinkx-core/src/main/java/com/dtstack/flinkx/loader/DTClassLoader.java

@@ -74,8 +74,9 @@ protected Class<?> loadClass(String name, boolean resolve) throws ClassNotFoundE
             try {
                 clazz = findClass(name);
                 if (clazz != null) {
-                    if (resolve)
+                    if (resolve){
                         resolveClass(clazz);
+                    }
                     return (clazz);
                 }
             } catch (ClassNotFoundException e) {
@@ -86,8 +87,9 @@ protected Class<?> loadClass(String name, boolean resolve) throws ClassNotFoundE
             try {
                 clazz = Class.forName(name, false, parent);
                 if (clazz != null) {
-                    if (resolve)
+                    if (resolve){
                         resolveClass(clazz);
+                    }
                     return (clazz);
                 }
             } catch (ClassNotFoundException e) {

flinkx-core/src/main/java/com/dtstack/flinkx/outputformat/RichOutputFormat.java

@@ -307,6 +307,7 @@ public void close() throws IOException {
         }
 
         if(errorLimiter != null) {
+            errorLimiter.acquire();
             errorLimiter.stop();
         }
 

flinkx-core/src/main/java/com/dtstack/flinkx/plugin/PluginLoader.java

@@ -22,7 +22,6 @@
 import com.dtstack.flinkx.util.SysUtil;
 import org.apache.flink.util.Preconditions;
 import java.io.File;
-import java.io.FilenameFilter;
 import java.net.MalformedURLException;
 import java.net.URL;
 import java.util.ArrayList;

flinkx-core/src/main/java/com/dtstack/flinkx/util/SysUtil.java

@@ -18,8 +18,6 @@
 
 package com.dtstack.flinkx.util;
 
-import com.google.common.base.Preconditions;
-
 import java.io.File;
 import java.io.FilenameFilter;
 import java.net.MalformedURLException;