|
| 1 | +# Ftp Sink |
| 2 | + |
| 3 | +## 一、介绍 |
| 4 | +ftp sink |
| 5 | + |
| 6 | +## 二、数据源配置 |
| 7 | +FTP服务搭建: |
| 8 | + |
| 9 | + |
| 10 | +windows:[地址](https://help.aliyun.com/document_detail/92046.html?spm=a2c4g.11186623.6.1185.6371dcd5DOfc5z) |
| 11 | + |
| 12 | + |
| 13 | +linux:[地址](https://help.aliyun.com/document_detail/92048.html?spm=a2c4g.11186623.6.1184.7a9a2dbcRLDNlf) |
| 14 | + |
| 15 | + |
| 16 | +sftp服务搭建: |
| 17 | + |
| 18 | + |
| 19 | +windows:[地址](http://www.freesshd.com/) |
| 20 | + |
| 21 | + |
| 22 | +linux:[地址](https://yq.aliyun.com/articles/435356?spm=a2c4e.11163080.searchblog.102.576f2ec1BVgWY7) |
| 23 | +## 三、插件名称 |
| 24 | +| sync | ftpsink, ftpwriter | |
| 25 | +| --- | --- | |
| 26 | +| sql | ftp-x | |
| 27 | + |
| 28 | + |
| 29 | +## 四、参数说明 |
| 30 | + |
| 31 | +### 1、sync |
| 32 | + |
| 33 | +- **path** |
| 34 | + - 描述:数据文件路径 |
| 35 | + - 必选:是 |
| 36 | + - 字段类型:String |
| 37 | + - 默认值:无 |
| 38 | + |
| 39 | + |
| 40 | +- **protocol** |
| 41 | + - 描述:服务器访问协议,目前支持ftp、sftp |
| 42 | + - 必选:是 |
| 43 | + - 字段类型:String |
| 44 | + - 默认值:无 |
| 45 | + |
| 46 | + |
| 47 | +- **host** |
| 48 | + - 描述:ftp服务器地址 |
| 49 | + - 必选:是 |
| 50 | + - 字段类型:String |
| 51 | + - 默认值:无 |
| 52 | + |
| 53 | + |
| 54 | +- **port** |
| 55 | + - 描述:ftp服务器端口 |
| 56 | + - 必选:否 |
| 57 | + - 字段类型:int |
| 58 | + - 默认值:若传输协议是sftp协议,默认值是22;若传输协议是标准ftp协议,默认值是21 |
| 59 | + |
| 60 | + |
| 61 | +- **username** |
| 62 | + - 描述:ftp服务器登陆用户名 |
| 63 | + - 必选:是 |
| 64 | + - 字段类型:String |
| 65 | + - 默认值:无 |
| 66 | + |
| 67 | + |
| 68 | +- **password** |
| 69 | + - 描述:ftp服务器登陆密码 |
| 70 | + - 必选:否 |
| 71 | + - 字段类型:String |
| 72 | + - 默认值:无 |
| 73 | + |
| 74 | + |
| 75 | +- **privateKeyPath** |
| 76 | + - 描述:sftp私钥文件路径 |
| 77 | + - 必选:否 |
| 78 | + - 字段类型:String |
| 79 | + - 默认值:无 |
| 80 | + |
| 81 | + |
| 82 | +- **connectPattern** |
| 83 | + - 描述:protocol为ftp时的连接模式,可选PASV和PORT,参数含义可参考:[模式说明](https://blog.csdn.net/qq_16038125/article/details/72851142) |
| 84 | + - 必选:否 |
| 85 | + - 字段类型:String |
| 86 | + - 默认值:PASV |
| 87 | + |
| 88 | + |
| 89 | +- **fieldDelimiter** |
| 90 | + - 描述:读取的字段分隔符 |
| 91 | + - 必选:否 |
| 92 | + - 字段类型:String |
| 93 | + - 默认值:',' |
| 94 | + |
| 95 | + |
| 96 | +- **ftpFileName** |
| 97 | + - 描述:远程FTP文件系统的文件名,只能写一个文件名。如果配置多并发度(channel > 1),或者文件的大小超过 maxFileSize 配置的值,那么文件会被命名成 filename_0_0, filename_0_1,...,filename_1_0,filename_1_1 。第一个数字是 channel 的编号,第二个数字是拆分后的文件编号。 |
| 98 | + - 必选:否 |
| 99 | + - 字段类型:String |
| 100 | + - 默认值:无 |
| 101 | + |
| 102 | + |
| 103 | +- **timeout** |
| 104 | + - 描述:连接超时时间,单位毫秒 |
| 105 | + - 必选:否 |
| 106 | + - 字段类型:int |
| 107 | + - 默认值:5000 |
| 108 | + |
| 109 | + |
| 110 | +- **maxFileSize** |
| 111 | + - 描述:写入ftp单个文件最大大小,单位字节 |
| 112 | + - 必须:否 |
| 113 | + - 字段类型:long |
| 114 | + - 默认值:1073741824(1G) |
| 115 | + |
| 116 | + |
| 117 | +- **writeMode** |
| 118 | + - 描述:ftpwriter写入前数据清理处理模式 |
| 119 | + - append:追加 |
| 120 | + - overwrite:覆盖 |
| 121 | + - 注意:追加写入是指在目录下追加写入一个文件a,并不是往某个文件追加写入内容;覆盖写入是指覆盖目录下所有文件,overwrite模式时会删除ftp当前目录下的所有文件 |
| 122 | + - 必选:否 |
| 123 | + - 字段类型:string |
| 124 | + - 默认值:append |
| 125 | + |
| 126 | + |
| 127 | +- **column** |
| 128 | + - 描述:需要读取的字段 |
| 129 | + - 注意:不支持*格式 |
| 130 | + - 格式: |
| 131 | + ```json |
| 132 | + "column": [{ |
| 133 | + "name": "col", |
| 134 | + "type": "string", |
| 135 | + "index":1, |
| 136 | + "isPart":false, |
| 137 | + "format": "yyyy-MM-dd hh:mm:ss", |
| 138 | + "value": "value" |
| 139 | + }] |
| 140 | + ``` |
| 141 | + - 属性说明: |
| 142 | + - name:必选,字段名称 |
| 143 | + - type:必选,字段类型,需要和数据文件中实际的字段类型匹配 |
| 144 | + - index:非必选,字段在所有字段中的位置索引,从0开始计算,默认为-1,按照数组顺序依次读取,配置后读取指定字段列 |
| 145 | + - isPart:非必选,是否是分区字段,如果是分区字段,会自动从path上截取分区赋值,默认为fale |
| 146 | + - format:非必选,按照指定格式,格式化日期 |
| 147 | + - value:非必选,常量字段,将value的值作为常量列返回 |
| 148 | + - 必选:是 |
| 149 | + - 参数类型:数组 |
| 150 | + - 默认值:无 |
| 151 | + |
| 152 | + |
| 153 | +### 2、sql |
| 154 | + |
| 155 | +- **connector** |
| 156 | + - 描述:ftp-x |
| 157 | + - 必选:是 |
| 158 | + - 字段类型:String |
| 159 | + - 默认值:无 |
| 160 | + |
| 161 | + |
| 162 | +- **path** |
| 163 | + - 描述:文件路径 |
| 164 | + - 必选:是 |
| 165 | + - 字段类型:String |
| 166 | + - 默认值:无 |
| 167 | + |
| 168 | + |
| 169 | +- **file-name** |
| 170 | + - 描述:文件名,如果不指定则随机生成 |
| 171 | + - 必选:否 |
| 172 | + - 字段类型:String |
| 173 | + - 默认值:无 |
| 174 | + |
| 175 | + |
| 176 | +- **protocol** |
| 177 | + - 描述:服务器访问协议,目前支持ftp、sftp |
| 178 | + - 必选:是 |
| 179 | + - 字段类型:String |
| 180 | + - 默认值:无 |
| 181 | + |
| 182 | + |
| 183 | +- **host** |
| 184 | + - 描述:服务地地址 |
| 185 | + - 必选:是 |
| 186 | + - 字段类型:String |
| 187 | + - 默认值:无 |
| 188 | + |
| 189 | + |
| 190 | +- **port** |
| 191 | + - 描述:ftp服务器端口 |
| 192 | + - 必选:否 |
| 193 | + - 字段类型:int |
| 194 | + - 默认值:若传输协议是sftp协议,默认值是22;若传输协议是标准ftp协议,默认值是21 |
| 195 | + |
| 196 | + |
| 197 | +- **username** |
| 198 | + - 描述:服务器登陆用户名 |
| 199 | + - 必选:是 |
| 200 | + - 字段类型:String |
| 201 | + - 默认值:无 |
| 202 | + |
| 203 | + |
| 204 | +- **password** |
| 205 | + - 描述:服务器登陆密码 |
| 206 | + - 必选:否 |
| 207 | + - 字段类型:String |
| 208 | + - 默认值:无 |
| 209 | + |
| 210 | + |
| 211 | +- **format** |
| 212 | + - 描述:文件的类型,和原生flink保持一致,支持原生所有类型 |
| 213 | + - 必选:否 |
| 214 | + - 参数类型:string |
| 215 | + - 默认值:csv |
| 216 | + |
| 217 | + |
| 218 | +- **connect-pattern** |
| 219 | + - 描述:protocol为ftp时的连接模式,可选PASV和PORT |
| 220 | + - 必选:否 |
| 221 | + - 字段类型:String |
| 222 | + - 默认值:PASV |
| 223 | + |
| 224 | + |
| 225 | +- **timeout** |
| 226 | + - 描述:连接超时时间,单位毫秒 |
| 227 | + - 必选:否 |
| 228 | + - 字段类型:String |
| 229 | + - 默认值:5000 |
| 230 | + |
| 231 | + |
| 232 | +- **write-mode** |
| 233 | + - 描述:ftpwriter写入前数据清理处理模式 |
| 234 | + - append:追加 |
| 235 | + - overwrite:覆盖 |
| 236 | + - 注意:追加写入是指在目录下追加写入一个文件a,并不是往某个文件追加写入内容;覆盖写入是指覆盖目录下所有文件,overwrite模式时会删除ftp当前目录下的所有文件 |
| 237 | + - 必选:否 |
| 238 | + - 字段类型:string |
| 239 | + - 默认值:append |
| 240 | + |
| 241 | + |
| 242 | +- **max-file-size** |
| 243 | + - 描述:写入ftp单个文件最大大小,单位字节 |
| 244 | + - 必须:否 |
| 245 | + - 字段类型:long |
| 246 | + - 默认值:1073741824(1G) |
| 247 | + |
| 248 | + |
| 249 | +## 五、数据类型 |
| 250 | +|支持的类型|BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL, STRING, VARCHAR, CHAR, BINARY, TIMESTAMP, DATETIME, TIME, DATE| |
| 251 | +| --- | --- | |
| 252 | +|不支持的类型|ARRAY, MAP, STRUCT| |
| 253 | + |
| 254 | + |
| 255 | +## 六、脚本示例 |
| 256 | +见项目内`chunjun-examples`文件夹 |
0 commit comments