update fastjson version

Merge pull request #793 from heljoyLiu/master
2020-08-31 21:28:39 +08:00 · 2020-08-12 15:22:18 +08:00 · 2020-08-12 15:18:33 +08:00 · 2020-08-12 12:41:59 +08:00 · 2020-08-12 12:27:20 +08:00 · 2020-08-12 11:59:15 +08:00
18 changed files with 52 additions and 30 deletions
@@ -108,7 +108,20 @@ This software is free to use under the Apache License [Apache license](https://g
    8. 对高并发、高稳定可用性、高性能、大数据处理有过实际项目及产品经验者优先考虑；
    9. 有大数据产品、云产品、中间件技术解决方案者优先考虑。
 ````
-钉钉用户群：23169395
+钉钉用户群：

+- DataX开源用户交流群
+    - <img src="https://github.com/alibaba/DataX/blob/master/images/DataX%E5%BC%80%E6%BA%90%E7%94%A8%E6%88%B7%E4%BA%A4%E6%B5%81%E7%BE%A4.jpg" width="20%" height="20%">

+- DataX开源用户交流群2
+    - <img src="https://github.com/alibaba/DataX/blob/master/images/DataX%E5%BC%80%E6%BA%90%E7%94%A8%E6%88%B7%E4%BA%A4%E6%B5%81%E7%BE%A42.jpg" width="20%" height="20%">
+
+- DataX开源用户交流群3
+    - <img src="https://github.com/alibaba/DataX/blob/master/images/DataX%E5%BC%80%E6%BA%90%E7%94%A8%E6%88%B7%E4%BA%A4%E6%B5%81%E7%BE%A43.jpg" width="20%" height="20%">
+
+- DataX开源用户交流群4
+    - <img src="https://github.com/alibaba/DataX/blob/master/images/DataX%E5%BC%80%E6%BA%90%E7%94%A8%E6%88%B7%E4%BA%A4%E6%B5%81%E7%BE%A44.jpg" width="20%" height="20%">
+
+- DataX开源用户交流群5
+    - <img src="https://github.com/alibaba/DataX/blob/master/images/DataX%E5%BC%80%E6%BA%90%E7%94%A8%E6%88%B7%E4%BA%A4%E6%B5%81%E7%BE%A45.jpg" width="20%" height="20%">

@@ -36,7 +36,7 @@
        <dependency>
            <groupId>commons-beanutils</groupId>
            <artifactId>commons-beanutils</artifactId>
-            <version>1.9.4</version>
+            <version>1.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
@@ -427,7 +427,7 @@ public class JobContainer extends AbstractContainer {
            Long channelLimitedByteSpeed = this.configuration
                    .getLong(CoreConstant.DATAX_CORE_TRANSPORT_CHANNEL_SPEED_BYTE);
            if (channelLimitedByteSpeed == null || channelLimitedByteSpeed <= 0) {
-                DataXException.asDataXException(
+                throw DataXException.asDataXException(
                        FrameworkErrorCode.CONFIG_ERROR,
                        "在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数");
            }
@@ -448,7 +448,7 @@ public class JobContainer extends AbstractContainer {
            Long channelLimitedRecordSpeed = this.configuration.getLong(
                    CoreConstant.DATAX_CORE_TRANSPORT_CHANNEL_SPEED_RECORD);
            if (channelLimitedRecordSpeed == null || channelLimitedRecordSpeed <= 0) {
-                DataXException.asDataXException(FrameworkErrorCode.CONFIG_ERROR,
+                throw DataXException.asDataXException(FrameworkErrorCode.CONFIG_ERROR,
                        "在有总tps限速条件下，单个channel的tps值不能为空，也不能为非正数");
            }

@@ -111,7 +111,7 @@ public class SomeReader extends Reader {
 ```

 `Job`接口功能如下：
- `init`: Job对象初始化工作，测试可以通过`super.getPluginJobConf()`获取与本插件相关的配置。读插件获得配置中`reader`部分，写插件获得`writer`部分。
+- `init`: Job对象初始化工作，此时可以通过`super.getPluginJobConf()`获取与本插件相关的配置。读插件获得配置中`reader`部分，写插件获得`writer`部分。
 - `prepare`: 全局准备工作，比如odpswriter清空目标表。
 - `split`: 拆分`Task`。参数`adviceNumber`框架建议的拆分数，一般是运行时所配置的并发度。值返回的是`Task`的配置列表。
 - `post`: 全局的后置工作，比如mysqlwriter同步完影子表后的rename操作。
@@ -155,7 +155,7 @@ public class SomeReader extends Reader {
 ```

 - `name`: 插件名称，大小写敏感。框架根据用户在配置文件中指定的名称来搜寻插件。 **十分重要** 。
- `class`: 入口类的全限定名称，框架通过反射穿件入口类的实例。**十分重要** 。
+- `class`: 入口类的全限定名称，框架通过反射插件入口类的实例。**十分重要** 。
 - `description`: 描述信息。
 - `developer`: 开发人员。

@@ -63,32 +63,32 @@ GDBWriter通过DataX框架获取Reader生成的协议数据，使用`g.addV/E(GD
                        "password": "***",
                        "writeMode": "INSERT",
                        "labelType": "VERTEX",
-                        "label": "${1}",
+                        "label": "#{1}",
                        "idTransRule": "none",
                        "session": true,
                        "maxRecordsInBatch": 64,
                        "column": [
                            {
                                "name": "id",
-                                "value": "${0}",
+                                "value": "#{0}",
                                "type": "string",
                                "columnType": "primaryKey"
                            },
                            {
                                "name": "vertex_propKey",
-                                "value": "${2}",
+                                "value": "#{2}",
                                "type": "string",
                                "columnType": "vertexSetProperty"
                            },
                            {
                                "name": "vertex_propKey",
-                                "value": "${3}",
+                                "value": "#{3}",
                                "type": "long",
                                "columnType": "vertexSetProperty"
                            },
                            {
                                "name": "vertex_propKey2",
-                                "value": "${4}",
+                                "value": "#{4}",
                                "type": "string",
                                "columnType": "vertexProperty"
                            }
@@ -154,7 +154,7 @@ GDBWriter通过DataX框架获取Reader生成的协议数据，使用`g.addV/E(GD
                        "password": "***",
                        "writeMode": "INSERT",
                        "labelType": "EDGE",
-                        "label": "${3}",
+                        "label": "#{3}",
                        "idTransRule": "none",
                        "srcIdTransRule": "labelPrefix",
                        "dstIdTransRule": "labelPrefix",
@@ -164,25 +164,25 @@ GDBWriter通过DataX框架获取Reader生成的协议数据，使用`g.addV/E(GD
                        "column": [
                            {
                                "name": "id",
-                                "value": "${0}",
+                                "value": "#{0}",
                                "type": "string",
                                "columnType": "primaryKey"
                            },
                            {
                                "name": "id",
-                                "value": "${1}",
+                                "value": "#{1}",
                                "type": "string",
                                "columnType": "srcPrimaryKey"
                            },
                            {
                                "name": "id",
-                                "value": "${2}",
+                                "value": "#{2}",
                                "type": "string",
                                "columnType": "dstPrimaryKey"
                            },
                            {
                                "name": "edge_propKey",
-                                "value": "${4}",
+                                "value": "#{4}",
                                "type": "string",
                                "columnType": "edgeProperty"
                            }
@@ -219,7 +219,7 @@ GDBWriter通过DataX框架获取Reader生成的协议数据，使用`g.addV/E(GD
  * 默认值：无

 * **label**
-  * 描述：类型名，即点/边名称； label支持从源列中读取，如${0}，表示取第一列字段作为label名。源列索引从0开始；
+  * 描述：类型名，即点/边名称； label支持从源列中读取，如#{0}，表示取第一列字段作为label名。源列索引从0开始；
  * 必选：是
  * 默认值：无

@@ -231,12 +231,12 @@ GDBWriter通过DataX框架获取Reader生成的协议数据，使用`g.addV/E(GD
  * 默认值：无

 * **srcLabel**
-  * 描述：当label为边时，表示起点的点名称；srcLabel支持从源列中读取，如${0}，表示取第一列字段作为label名。源列索引从0开始；
+  * 描述：当label为边时，表示起点的点名称；srcLabel支持从源列中读取，如#{0}，表示取第一列字段作为label名。源列索引从0开始；
  * 必选：labelType为边，srcIdTransRule为none时可不填写，否则必填；
  * 默认值：无

 * **dstLabel**
-  * 描述：当label为边时，表示终点的点名称；dstLabel支持从源列中读取，如${0}，表示取第一列字段作为label名。源列索引从0开始；
+  * 描述：当label为边时，表示终点的点名称；dstLabel支持从源列中读取，如#{0}，表示取第一列字段作为label名。源列索引从0开始；
  * 必选：labelType为边，dstIdTransRule为none时可不填写，否则必填；
  * 默认值：无

@@ -291,9 +291,9 @@ GDBWriter通过DataX框架获取Reader生成的协议数据，使用`g.addV/E(GD

 * **column -> value**
  * 描述：点/边映射关系的字段值；
-    * ${N}表示直接映射源端值，N为源端column索引，从0开始；${0}表示映射源端column第1个字段；
-    * test-${0} 表示源端值做拼接转换，${0}值前/后可添加固定字符串;
-    * ${0}-${1}表示做多字段拼接，也可在任意位置添加固定字符串，如test-${0}-test1-${1}-test2
+    * #{N}表示直接映射源端值，N为源端column索引，从0开始；#{0}表示映射源端column第1个字段；
+    * test-#{0} 表示源端值做拼接转换，#{0}值前/后可添加固定字符串;
+    * #{0}-#{1}表示做多字段拼接，也可在任意位置添加固定字符串，如test-#{0}-test1-#{1}-test2
  * 必选：是
  * 默认值：无

@@ -58,7 +58,8 @@ ODPSReader 支持读取分区表、非分区表，不支持读取虚拟视图。
                        ],
                        "packageAuthorizedProject": "yourCurrentProjectName",
                        "splitMode": "record",
-                        "odpsServer": "http://xxx/api"
+                        "odpsServer": "http://xxx/api",
+                        "tunnelServer": "http://dt.odps.aliyun.com"
                    }
                },
                "writer": {
@@ -105,7 +105,7 @@ OSSWriter实现了从DataX协议转为OSS中的TXT文件功能，OSS本身是无
 	* 描述：OSSWriter写入的文件名，OSS使用文件名模拟目录的实现。 <br />

 		使用"object": "datax"，写入object以datax开头，后缀添加随机字符串。
-		使用"object": "/cdo/datax"，写入的object以/cdo/datax开头，后缀随机添加字符串，/作为OSS模拟目录的分隔符。
+		使用"object": "cdo/datax"，写入的object以cdo/datax开头，后缀随机添加字符串，/作为OSS模拟目录的分隔符。

 	* 必选：是 <br />

@@ -10,7 +10,7 @@
    </parent>
    <groupId>com.alibaba.datax</groupId>
    <artifactId>otsstreamreader</artifactId>
-    <version>0.0.1-SNAPSHOT</version>
+    <version>0.0.1</version>

    <dependencies>
        <dependency>
@@ -22,7 +22,7 @@
        <commons-lang3-version>3.3.2</commons-lang3-version>
        <commons-configuration-version>1.10</commons-configuration-version>
        <commons-cli-version>1.2</commons-cli-version>
-        <fastjson-version>1.1.46.sec01</fastjson-version>
+        <fastjson-version>1.1.46.sec10</fastjson-version>
        <guava-version>16.0.1</guava-version>
        <diamond.version>3.7.2.1-SNAPSHOT</diamond.version>

@@ -141,7 +141,7 @@ PostgresqlWriter通过 DataX 框架获取 Reader 生成的协议数据，根据

 * **column**

-  * 描述：目的表需要写入数据的字段,字段之间用英文逗号分隔。例如: "column": ["id","name","age"]。如果要依次写入全部列，使用*表示, 例如: "column": ["*"]
+  * 描述：目的表需要写入数据的字段,字段之间用英文逗号分隔。例如: "column": ["id","name","age"]。如果要依次写入全部列，使用\*表示, 例如: "column": ["\*"]

               注意：1、我们强烈不推荐你这样配置，因为当你目的表字段个数、类型等有改动时，你的任务可能运行不正确或者失败
                    2、此处 column 不能配置任何常量值
@@ -5,6 +5,7 @@ import com.alibaba.datax.common.plugin.RecordSender;
 import com.alibaba.datax.common.spi.Reader;
 import com.alibaba.datax.common.util.Configuration;
 import com.alibaba.datax.plugin.rdbms.reader.CommonRdbmsReader;
+import com.alibaba.datax.plugin.rdbms.util.DBUtil;
 import com.alibaba.datax.plugin.rdbms.util.DBUtilErrorCode;
 import com.alibaba.datax.plugin.rdbms.util.DataBaseType;

@@ -12,7 +13,10 @@ import java.util.List;

 public class RdbmsReader extends Reader {
    private static final DataBaseType DATABASE_TYPE = DataBaseType.RDBMS;
-
+    static {
+    	//加载插件下面配置的驱动类
+        DBUtil.loadDriverClass("reader", "rdbms");
+    }
    public static class Job extends Reader.Job {

        private Configuration originalConfig;
@@ -4,6 +4,7 @@ import com.alibaba.datax.common.exception.DataXException;
 import com.alibaba.datax.common.plugin.RecordReceiver;
 import com.alibaba.datax.common.spi.Writer;
 import com.alibaba.datax.common.util.Configuration;
+import com.alibaba.datax.plugin.rdbms.util.DBUtil;
 import com.alibaba.datax.plugin.rdbms.util.DBUtilErrorCode;
 import com.alibaba.datax.plugin.rdbms.util.DataBaseType;
 import com.alibaba.datax.plugin.rdbms.writer.CommonRdbmsWriter;
@@ -13,7 +14,10 @@ import java.util.List;

 public class RdbmsWriter extends Writer {
    private static final DataBaseType DATABASE_TYPE = DataBaseType.RDBMS;
-
+    static {
+    	//加载插件下面配置的驱动类
+        DBUtil.loadDriverClass("writer", "rdbms");
+    }
    public static class Job extends Writer.Job {
        private Configuration originalConfig = null;
        private CommonRdbmsWriter.Job commonRdbmsWriterMaster;
@@ -64,7 +64,7 @@ DataX本身作为数据同步框架，将不同数据源的同步抽象为从源

 * 配置示例：从stream读取数据并打印到控制台
  
-  * 第一步、创建创业的配置文件（json格式）
+  * 第一步、创建作业的配置文件（json格式）
    
    可以通过命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}
Author	SHA1	Message	Date
Trafalgar	7ac827b597	update fastjson version update fastjson version	2020-08-31 21:28:39 +08:00
Trafalgar	f6afdefa9e	Merge pull request #793 from heljoyLiu/master gdbwriter: update column index prefix	2020-08-12 15:22:18 +08:00
Liu Jianping	6641150217	gdbwriter: update column index prefix	2020-08-12 15:18:33 +08:00
Trafalgar	dee608b093	Update README.md update DataX开源用户交流群二维码	2020-08-12 12:41:59 +08:00
Trafalgar	6e2df5578e	Add files via upload add 交流群二维码图片	2020-08-12 12:27:20 +08:00
Trafalgar	066df492ca	Update README.md update DataX开源用户交流群信息	2020-08-12 11:59:15 +08:00
Trafalgar	a9b77e4c98	Merge pull request #149 from springCat/master 官方的maven库tablestore-streamclient没有1.0.0-SNAPSHOT，只有1.0.0版本	2020-08-05 17:18:22 +08:00
Trafalgar	7666c5e8df	Merge pull request #428 from zhouzf05/master Fix otsstreamreader compile failure.	2020-08-05 17:12:57 +08:00
Trafalgar	7d239d5d78	Merge pull request #771 from lazlaz/master 修复rdbms插件，无法加载plugin.json下配置驱动，导致如虚谷、达梦等数据库连接报错问题	2020-08-05 17:11:06 +08:00
Trafalgar	024e7f41c1	Merge pull request #587 from BoYiZhang/master fix bug DataXException is not work .	2020-08-05 17:04:58 +08:00
Trafalgar	5419d044fe	Merge pull request #486 from c-agam/patch-1 Update osswriter.md	2020-08-05 17:04:19 +08:00
Trafalgar	8583cb3e45	Merge pull request #229 from csurong/csurong_dev 增加odpsReader官方示例中的必须参数	2020-08-05 17:02:38 +08:00
Trafalgar	f0c9e588ac	Merge pull request #447 from lzrlizhirong/master [fix]throw dataXException	2020-08-05 17:01:45 +08:00
Trafalgar	78f319ec4c	Merge pull request #504 from woaer/patch-1 Update userGuid.md	2020-08-05 17:00:21 +08:00
Trafalgar	82f86a3ff1	Merge pull request #626 from sqdf1990/modify_dataxPluginDev_md 修改dataxPluginDev.md文件中的文字错误	2020-08-05 16:59:35 +08:00
Trafalgar	cd6bbb6706	Merge pull request #703 from Galthen/patch-1 更新postgresqlwriter.md文件中关于"column": [""]中的未显示的问题	2020-08-05 16:58:54 +08:00
liuzhai	04d0937779	修复rdbmswriter插件，无法plugin.json下驱动，导致数据库连接报错问题	2020-07-21 15:03:40 +08:00
liuzhai	d763fa33c6	修复rdbmsreader插件，无法plugin.json下驱动，导致数据库连接报错问题	2020-07-21 15:03:26 +08:00
chenyang	f0db8135e7	更新postgresqlwriter.md文件中关于未展示的问题源文件中的内容为：如果要依次写入全部列，使用表示, 例如: "column": [""] 但是在网站上查看说明时，显示为：如果要依次写入全部列，使用表示, 例如: "column": [""] 这个引起了使用者的误解，对进行转义后可显示正常，更改为：如果要依次写入全部列，使用\表示, 例如: "column": ["\"]	2020-06-02 15:10:59 +08:00
dufeng3	d6b70be5ac	dataxPluginDev.md中把插件写成穿件了	2020-03-27 17:09:13 +08:00
dufeng3	07022e1276	修改dataxPluginDev.md文件中的文字错误	2020-03-27 16:10:51 +08:00
BoYiZhang	235d4d3378	fix bug DataXException is not work .	2020-02-06 00:31:15 +08:00
woaer	30cc3d56a2	Update userGuid.md ✏️ 修复拼写错误	2019-11-14 10:30:24 +08:00
c-agam	ad3e8d6332	Update osswriter.md object配置项修正：经测试，原文档中object配置项：/cdo/datax应该替换为cdo/datax才能文档中所述功能	2019-10-31 11:34:21 +08:00
lizhirong	c64dab42aa	[fix]throw dataXException	2019-09-20 14:16:25 +08:00
zhaofeng.zhou	de583090dd	Fix otsstreamreader compile failure.	2019-09-02 17:32:21 +08:00
csurong	24cdfc37ea	增加odpsReader官方示例中的必须参数	2018-12-03 17:25:13 +08:00
springcat	3944752098	官方的maven库tablestore-streamclient没有1.0.0-SNAPSHOT，只有1.0.0版本	2018-07-27 11:40:07 +08:00