1 Star 0 Fork 0

holysll/ETL

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
public_generate_parameter_ods_min.ktr 19.30 KB
一键复制 编辑 原始数据 按行查看 历史
holysll 提交于 2019-03-15 18:02 . ETL培训资料
<?xml version="1.0" encoding="UTF-8"?>
<transformation>
<info>
<name>public_generate_parameter_ods</name>
<description/>
<extended_description/>
<trans_version/>
<trans_type>Normal</trans_type>
<trans_status>0</trans_status>
<directory>&#x2f;</directory>
<parameters>
</parameters>
<log>
<trans-log-table><connection/>
<schema/>
<table/>
<size_limit_lines/>
<interval/>
<timeout_days/>
<field><id>ID_BATCH</id><enabled>Y</enabled><name>ID_BATCH</name></field><field><id>CHANNEL_ID</id><enabled>Y</enabled><name>CHANNEL_ID</name></field><field><id>TRANSNAME</id><enabled>Y</enabled><name>TRANSNAME</name></field><field><id>STATUS</id><enabled>Y</enabled><name>STATUS</name></field><field><id>LINES_READ</id><enabled>Y</enabled><name>LINES_READ</name><subject/></field><field><id>LINES_WRITTEN</id><enabled>Y</enabled><name>LINES_WRITTEN</name><subject/></field><field><id>LINES_UPDATED</id><enabled>Y</enabled><name>LINES_UPDATED</name><subject/></field><field><id>LINES_INPUT</id><enabled>Y</enabled><name>LINES_INPUT</name><subject/></field><field><id>LINES_OUTPUT</id><enabled>Y</enabled><name>LINES_OUTPUT</name><subject/></field><field><id>LINES_REJECTED</id><enabled>Y</enabled><name>LINES_REJECTED</name><subject/></field><field><id>ERRORS</id><enabled>Y</enabled><name>ERRORS</name></field><field><id>STARTDATE</id><enabled>Y</enabled><name>STARTDATE</name></field><field><id>ENDDATE</id><enabled>Y</enabled><name>ENDDATE</name></field><field><id>LOGDATE</id><enabled>Y</enabled><name>LOGDATE</name></field><field><id>DEPDATE</id><enabled>Y</enabled><name>DEPDATE</name></field><field><id>REPLAYDATE</id><enabled>Y</enabled><name>REPLAYDATE</name></field><field><id>LOG_FIELD</id><enabled>Y</enabled><name>LOG_FIELD</name></field><field><id>EXECUTING_SERVER</id><enabled>N</enabled><name>EXECUTING_SERVER</name></field><field><id>EXECUTING_USER</id><enabled>N</enabled><name>EXECUTING_USER</name></field><field><id>CLIENT</id><enabled>N</enabled><name>CLIENT</name></field></trans-log-table>
<perf-log-table><connection/>
<schema/>
<table/>
<interval/>
<timeout_days/>
<field><id>ID_BATCH</id><enabled>Y</enabled><name>ID_BATCH</name></field><field><id>SEQ_NR</id><enabled>Y</enabled><name>SEQ_NR</name></field><field><id>LOGDATE</id><enabled>Y</enabled><name>LOGDATE</name></field><field><id>TRANSNAME</id><enabled>Y</enabled><name>TRANSNAME</name></field><field><id>STEPNAME</id><enabled>Y</enabled><name>STEPNAME</name></field><field><id>STEP_COPY</id><enabled>Y</enabled><name>STEP_COPY</name></field><field><id>LINES_READ</id><enabled>Y</enabled><name>LINES_READ</name></field><field><id>LINES_WRITTEN</id><enabled>Y</enabled><name>LINES_WRITTEN</name></field><field><id>LINES_UPDATED</id><enabled>Y</enabled><name>LINES_UPDATED</name></field><field><id>LINES_INPUT</id><enabled>Y</enabled><name>LINES_INPUT</name></field><field><id>LINES_OUTPUT</id><enabled>Y</enabled><name>LINES_OUTPUT</name></field><field><id>LINES_REJECTED</id><enabled>Y</enabled><name>LINES_REJECTED</name></field><field><id>ERRORS</id><enabled>Y</enabled><name>ERRORS</name></field><field><id>INPUT_BUFFER_ROWS</id><enabled>Y</enabled><name>INPUT_BUFFER_ROWS</name></field><field><id>OUTPUT_BUFFER_ROWS</id><enabled>Y</enabled><name>OUTPUT_BUFFER_ROWS</name></field></perf-log-table>
<channel-log-table><connection/>
<schema/>
<table/>
<timeout_days/>
<field><id>ID_BATCH</id><enabled>Y</enabled><name>ID_BATCH</name></field><field><id>CHANNEL_ID</id><enabled>Y</enabled><name>CHANNEL_ID</name></field><field><id>LOG_DATE</id><enabled>Y</enabled><name>LOG_DATE</name></field><field><id>LOGGING_OBJECT_TYPE</id><enabled>Y</enabled><name>LOGGING_OBJECT_TYPE</name></field><field><id>OBJECT_NAME</id><enabled>Y</enabled><name>OBJECT_NAME</name></field><field><id>OBJECT_COPY</id><enabled>Y</enabled><name>OBJECT_COPY</name></field><field><id>REPOSITORY_DIRECTORY</id><enabled>Y</enabled><name>REPOSITORY_DIRECTORY</name></field><field><id>FILENAME</id><enabled>Y</enabled><name>FILENAME</name></field><field><id>OBJECT_ID</id><enabled>Y</enabled><name>OBJECT_ID</name></field><field><id>OBJECT_REVISION</id><enabled>Y</enabled><name>OBJECT_REVISION</name></field><field><id>PARENT_CHANNEL_ID</id><enabled>Y</enabled><name>PARENT_CHANNEL_ID</name></field><field><id>ROOT_CHANNEL_ID</id><enabled>Y</enabled><name>ROOT_CHANNEL_ID</name></field></channel-log-table>
<step-log-table><connection/>
<schema/>
<table/>
<timeout_days/>
<field><id>ID_BATCH</id><enabled>Y</enabled><name>ID_BATCH</name></field><field><id>CHANNEL_ID</id><enabled>Y</enabled><name>CHANNEL_ID</name></field><field><id>LOG_DATE</id><enabled>Y</enabled><name>LOG_DATE</name></field><field><id>TRANSNAME</id><enabled>Y</enabled><name>TRANSNAME</name></field><field><id>STEPNAME</id><enabled>Y</enabled><name>STEPNAME</name></field><field><id>STEP_COPY</id><enabled>Y</enabled><name>STEP_COPY</name></field><field><id>LINES_READ</id><enabled>Y</enabled><name>LINES_READ</name></field><field><id>LINES_WRITTEN</id><enabled>Y</enabled><name>LINES_WRITTEN</name></field><field><id>LINES_UPDATED</id><enabled>Y</enabled><name>LINES_UPDATED</name></field><field><id>LINES_INPUT</id><enabled>Y</enabled><name>LINES_INPUT</name></field><field><id>LINES_OUTPUT</id><enabled>Y</enabled><name>LINES_OUTPUT</name></field><field><id>LINES_REJECTED</id><enabled>Y</enabled><name>LINES_REJECTED</name></field><field><id>ERRORS</id><enabled>Y</enabled><name>ERRORS</name></field><field><id>LOG_FIELD</id><enabled>N</enabled><name>LOG_FIELD</name></field></step-log-table>
<metrics-log-table><connection/>
<schema/>
<table/>
<timeout_days/>
<field><id>ID_BATCH</id><enabled>Y</enabled><name>ID_BATCH</name></field><field><id>CHANNEL_ID</id><enabled>Y</enabled><name>CHANNEL_ID</name></field><field><id>LOG_DATE</id><enabled>Y</enabled><name>LOG_DATE</name></field><field><id>METRICS_DATE</id><enabled>Y</enabled><name>METRICS_DATE</name></field><field><id>METRICS_CODE</id><enabled>Y</enabled><name>METRICS_CODE</name></field><field><id>METRICS_DESCRIPTION</id><enabled>Y</enabled><name>METRICS_DESCRIPTION</name></field><field><id>METRICS_SUBJECT</id><enabled>Y</enabled><name>METRICS_SUBJECT</name></field><field><id>METRICS_TYPE</id><enabled>Y</enabled><name>METRICS_TYPE</name></field><field><id>METRICS_VALUE</id><enabled>Y</enabled><name>METRICS_VALUE</name></field></metrics-log-table>
</log>
<maxdate>
<connection/>
<table/>
<field/>
<offset>0.0</offset>
<maxdiff>0.0</maxdiff>
</maxdate>
<size_rowset>10000</size_rowset>
<sleep_time_empty>50</sleep_time_empty>
<sleep_time_full>50</sleep_time_full>
<unique_connections>N</unique_connections>
<feedback_shown>Y</feedback_shown>
<feedback_size>50000</feedback_size>
<using_thread_priorities>Y</using_thread_priorities>
<shared_objects_file/>
<capture_step_performance>N</capture_step_performance>
<step_performance_capturing_delay>1000</step_performance_capturing_delay>
<step_performance_capturing_size_limit>100</step_performance_capturing_size_limit>
<dependencies>
</dependencies>
<partitionschemas>
</partitionschemas>
<slaveservers>
<slaveserver><name>prod_master</name><hostname>mcpl027</hostname><port>8080</port><webAppName/><username>cluster</username><password>Encrypted 2be98afc86aa7f2e4cb1aa265cd86aac8</password><proxy_hostname/><proxy_port/><non_proxy_hosts/><master>Y</master><sslMode>N</sslMode></slaveserver>
</slaveservers>
<clusterschemas>
</clusterschemas>
<created_user>-</created_user>
<created_date>2015&#x2f;04&#x2f;11 09&#x3a;48&#x3a;09.591</created_date>
<modified_user>-</modified_user>
<modified_date>2015&#x2f;04&#x2f;11 09&#x3a;48&#x3a;09.591</modified_date>
<key_for_session_key>H4sIAAAAAAAAAAMAAAAAAAAAAAA&#x3d;</key_for_session_key>
<is_key_private>N</is_key_private>
</info>
<notepads>
</notepads>
<connection>
<name>parameter</name>
<server>&#x24;&#x7b;CMALDW_APD_DB_HOST&#x7d;</server>
<type>MYSQL</type>
<access>Native</access>
<database>&#x24;&#x7b;CMALDW_APD_DB_SC&#x7d;</database>
<port>&#x24;&#x7b;CMALDW_APD_DB_PORT&#x7d;</port>
<username>&#x24;&#x7b;CMALDW_APD_DB_USER&#x7d;</username>
<password>&#x24;&#x7b;CADW_APD_DB_PASSWORD&#x7d;</password>
<servername/>
<data_tablespace/>
<index_tablespace/>
<attributes>
<attribute><code>FORCE_IDENTIFIERS_TO_LOWERCASE</code><attribute>N</attribute></attribute>
<attribute><code>FORCE_IDENTIFIERS_TO_UPPERCASE</code><attribute>N</attribute></attribute>
<attribute><code>IS_CLUSTERED</code><attribute>N</attribute></attribute>
<attribute><code>PORT_NUMBER</code><attribute>&#x24;&#x7b;CMALDW_APD_DB_PORT&#x7d;</attribute></attribute>
<attribute><code>PRESERVE_RESERVED_WORD_CASE</code><attribute>N</attribute></attribute>
<attribute><code>QUOTE_ALL_FIELDS</code><attribute>N</attribute></attribute>
<attribute><code>STREAM_RESULTS</code><attribute>Y</attribute></attribute>
<attribute><code>SUPPORTS_BOOLEAN_DATA_TYPE</code><attribute>Y</attribute></attribute>
<attribute><code>SUPPORTS_TIMESTAMP_DATA_TYPE</code><attribute>Y</attribute></attribute>
<attribute><code>USE_POOLING</code><attribute>N</attribute></attribute>
</attributes>
</connection>
<order>
<hop> <from>START_DATE</from><to>&#x8bbe;&#x7f6e;&#x53d8;&#x91cf;</to><enabled>Y</enabled> </hop>
</order>
<step>
<name>START_DATE</name>
<type>TableInput</type>
<description/>
<distribute>N</distribute>
<custom_distribution/>
<copies>1</copies>
<partitioning>
<method>none</method>
<schema_name/>
</partitioning>
<connection>parameter</connection>
<sql>SELECT &#xd;&#xa; A.PARAMETER_VALUE AS START_DATE&#xd;&#xa; ,B.PARAMETER_VALUE AS END_DATE&#xd;&#xa; ,CASE WHEN A.FREQUENCY &#x3d; &#x27;DD&#x27; THEN date_format&#x28;date_sub&#x28;str_to_date&#x28;A.PARAMETER_VALUE,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29;, interval 1 day&#x29;,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29; &#xd;&#xa; when A.FREQUENCY &#x3d; &#x27;MM&#x27; THEN date_format&#x28;date_sub&#x28;str_to_date&#x28;A.PARAMETER_VALUE,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29;, interval 1 day&#x29;,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29; &#xd;&#xa; when A.FREQUENCY &#x3d; &#x27;YY&#x27; THEN date_format&#x28;date_sub&#x28;str_to_date&#x28;A.PARAMETER_VALUE,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29;, interval 1 day&#x29;,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29; &#xd;&#xa; ELSE &#x27;0&#x27;&#xd;&#xa; END AS BEFORE_DATE&#xd;&#xa; ,case when A.FREQUENCY &#x3d; &#x27;DD&#x27; THEN date_format&#x28;date_sub&#x28;str_to_date&#x28;A.PARAMETER_VALUE,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29;, interval 1 month&#x29;,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29; &#xd;&#xa; when A.FREQUENCY &#x3d; &#x27;MM&#x27; THEN date_format&#x28;date_sub&#x28;str_to_date&#x28;A.PARAMETER_VALUE,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29;, interval 1 month&#x29;,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29; &#xd;&#xa; when A.FREQUENCY &#x3d; &#x27;YY&#x27; THEN date_format&#x28;date_sub&#x28;str_to_date&#x28;A.PARAMETER_VALUE,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29;, interval 1 month&#x29;,&#x27;&#x25;Y-&#x25;m-&#x25;d&#x27;&#x29; &#xd;&#xa; ELSE &#x27;0&#x27;&#xd;&#xa; END AS BEFORE_MONTH&#xd;&#xa; ,REPLACE&#x28;A.PARAMETER_VALUE,&#x27;-&#x27;,&#x27;&#x27;&#x29; AS CUR_DATE_WID&#xd;&#xa; ,C.JOB_NAME&#xd;&#xa; ,C.SRC_NAME&#xd;&#xa; ,C.SRC_TABLE_NAME&#xd;&#xa; ,C.TAR_STG_TAB_NAME&#xd;&#xa; ,C.TAR_ODS_TAB_NAME&#xd;&#xa; ,C.TAR_HIS_TAB_NAME&#xd;&#xa; ,C.DB_HOST&#xd;&#xa; ,C.DB_NAME&#xd;&#xa; ,C.DB_PASSWORD&#xd;&#xa; ,C.DB_PORT&#xd;&#xa; ,C.DB_USER&#xd;&#xa; ,C.DB_JDBC&#xd;&#xa; ,C.SPLIT_BY&#xd;&#xa; ,C.TERMINATED_BY&#xd;&#xa; ,C.JOIN_CONDITION&#xd;&#xa; ,C.EXTRACT_MODE&#xd;&#xa; ,C.INCREMENT_FIELD&#xd;&#xa; ,C.PARAR_NUM&#xd;&#xa; ,C.TAB_OR_VIEW&#xd;&#xa; ,C.QUERY_STATEMENT&#xd;&#xa; ,C.SRC_DB_TYPE&#xd;&#xa; ,C.TARGET_DIR&#xd;&#xa; ,C.FETCH_SIZE&#xd;&#xa; ,C.SET_ENGINE&#xd;&#xa; FROM MSS.APD_ODS_PARAMETER C &#xd;&#xa; LEFT JOIN MSS.APD_FND_SCHEDULE_PARAMETER A&#xd;&#xa; ON A.WORKFLOW_NAME &#x3d; C.JOB_NAME &#xd;&#xa; AND A.PARAMETER_NAME &#x3d; &#x27;&#x24;&#x24;START_EXTRACT_DATE&#x27;&#xd;&#xa; LEFT JOIN MSS.APD_FND_SCHEDULE_PARAMETER B&#xd;&#xa; ON A.WORKFLOW_NAME &#x3d; B.WORKFLOW_NAME &#xd;&#xa; AND B.PARAMETER_NAME &#x3d; &#x27;&#x24;&#x24;LAST_EXTRACT_DATE&#x27;&#xd;&#xa; WHERE C.JOB_NAME &#x3d; &#x27;&#x24;&#x7b;KETTLE_JOB_NAME&#x7d;&#x27;</sql>
<limit>100</limit>
<lookup/>
<execute_each_row>N</execute_each_row>
<variables_active>Y</variables_active>
<lazy_conversion_active>N</lazy_conversion_active>
<cluster_schema/>
<remotesteps> <input> </input> <output> </output> </remotesteps> <GUI>
<xloc>140</xloc>
<yloc>179</yloc>
<draw>Y</draw>
</GUI>
</step>
<step>
<name>&#x8bbe;&#x7f6e;&#x53d8;&#x91cf;</name>
<type>SetVariable</type>
<description/>
<distribute>Y</distribute>
<custom_distribution/>
<copies>1</copies>
<partitioning>
<method>none</method>
<schema_name/>
</partitioning>
<fields>
<field>
<field_name>START_DATE</field_name>
<variable_name>START_DATE</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>END_DATE</field_name>
<variable_name>END_DATE</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>BEFORE_DATE</field_name>
<variable_name>BEFORE_DATE</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>BEFORE_MONTH</field_name>
<variable_name>BEFORE_MONTH</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>CUR_DATE_WID</field_name>
<variable_name>CUR_DATE_WID</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>JOB_NAME</field_name>
<variable_name>JOB_NAME</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>SRC_NAME</field_name>
<variable_name>SRC_NAME</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>SRC_TABLE_NAME</field_name>
<variable_name>SRC_TABLE_NAME</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>TAR_STG_TAB_NAME</field_name>
<variable_name>TAR_STG_TAB_NAME</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>TAR_ODS_TAB_NAME</field_name>
<variable_name>TAR_ODS_TAB_NAME</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>TAR_HIS_TAB_NAME</field_name>
<variable_name>TAR_HIS_TAB_NAME</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>DB_HOST</field_name>
<variable_name>DB_HOST</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>DB_NAME</field_name>
<variable_name>DB_NAME</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>DB_PASSWORD</field_name>
<variable_name>DB_PASSWORD</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>DB_PORT</field_name>
<variable_name>DB_PORT</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>DB_USER</field_name>
<variable_name>DB_USER</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>DB_JDBC</field_name>
<variable_name>DB_JDBC</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>SPLIT_BY</field_name>
<variable_name>SPLIT_BY</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>TERMINATED_BY</field_name>
<variable_name>TERMINATED_BY</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>JOIN_CONDITION</field_name>
<variable_name>JOIN_CONDITION</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>EXTRACT_MODE</field_name>
<variable_name>EXTRACT_MODE</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>INCREMENT_FIELD</field_name>
<variable_name>INCREMENT_FIELD</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>PARAR_NUM</field_name>
<variable_name>PARAR_NUM</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>TAB_OR_VIEW</field_name>
<variable_name>TAB_OR_VIEW</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>QUERY_STATEMENT</field_name>
<variable_name>QUERY_STATEMENT</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>SRC_DB_TYPE</field_name>
<variable_name>SRC_DB_TYPE</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>TARGET_DIR</field_name>
<variable_name>TARGET_DIR</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>FETCH_SIZE</field_name>
<variable_name>FETCH_SIZE</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
<field>
<field_name>SET_ENGINE</field_name>
<variable_name>SET_ENGINE</variable_name>
<variable_type>ROOT_JOB</variable_type>
<default_value/>
</field>
</fields>
<use_formatting>Y</use_formatting>
<cluster_schema/>
<remotesteps> <input> </input> <output> </output> </remotesteps> <GUI>
<xloc>464</xloc>
<yloc>177</yloc>
<draw>Y</draw>
</GUI>
</step>
<step_error_handling>
</step_error_handling>
<slave-step-copy-partition-distribution>
</slave-step-copy-partition-distribution>
<slave_transformation>N</slave_transformation>
</transformation>
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/holysll/ETL.git
git@gitee.com:holysll/ETL.git
holysll
ETL
ETL
master

搜索帮助