Skip to content

Commit f2ca9cb

Browse files
kungenFlechazoW
authored andcommitted
[docs][ftp] add ftp docs
1 parent 54b01f1 commit f2ca9cb

2 files changed

Lines changed: 524 additions & 0 deletions

File tree

Lines changed: 256 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,256 @@
1+
# Ftp Sink
2+
3+
## 一、介绍
4+
ftp sink
5+
6+
## 二、数据源配置
7+
FTP服务搭建:
8+
9+
10+
windows:[地址](https://help.aliyun.com/document_detail/92046.html?spm=a2c4g.11186623.6.1185.6371dcd5DOfc5z)
11+
12+
13+
linux:[地址](https://help.aliyun.com/document_detail/92048.html?spm=a2c4g.11186623.6.1184.7a9a2dbcRLDNlf)
14+
15+
16+
sftp服务搭建:
17+
18+
19+
windows:[地址](http://www.freesshd.com/)
20+
21+
22+
linux:[地址](https://yq.aliyun.com/articles/435356?spm=a2c4e.11163080.searchblog.102.576f2ec1BVgWY7)
23+
## 三、插件名称
24+
| sync | ftpsink, ftpwriter |
25+
| --- | --- |
26+
| sql | ftp-x |
27+
28+
29+
## 四、参数说明
30+
31+
### 1、sync
32+
33+
- **path**
34+
- 描述:数据文件路径
35+
- 必选:是
36+
- 字段类型:String
37+
- 默认值:无
38+
39+
40+
- **protocol**
41+
- 描述:服务器访问协议,目前支持ftp、sftp
42+
- 必选:是
43+
- 字段类型:String
44+
- 默认值:无
45+
46+
47+
- **host**
48+
- 描述:ftp服务器地址
49+
- 必选:是
50+
- 字段类型:String
51+
- 默认值:无
52+
53+
54+
- **port**
55+
- 描述:ftp服务器端口
56+
- 必选:否
57+
- 字段类型:int
58+
- 默认值:若传输协议是sftp协议,默认值是22;若传输协议是标准ftp协议,默认值是21
59+
60+
61+
- **username**
62+
- 描述:ftp服务器登陆用户名
63+
- 必选:是
64+
- 字段类型:String
65+
- 默认值:无
66+
67+
68+
- **password**
69+
- 描述:ftp服务器登陆密码
70+
- 必选:否
71+
- 字段类型:String
72+
- 默认值:无
73+
74+
75+
- **privateKeyPath**
76+
- 描述:sftp私钥文件路径
77+
- 必选:否
78+
- 字段类型:String
79+
- 默认值:无
80+
81+
82+
- **connectPattern**
83+
- 描述:protocol为ftp时的连接模式,可选PASV和PORT,参数含义可参考:[模式说明](https://blog.csdn.net/qq_16038125/article/details/72851142)
84+
- 必选:否
85+
- 字段类型:String
86+
- 默认值:PASV
87+
88+
89+
- **fieldDelimiter**
90+
- 描述:读取的字段分隔符
91+
- 必选:否
92+
- 字段类型:String
93+
- 默认值:','
94+
95+
96+
- **ftpFileName**
97+
- 描述:远程FTP文件系统的文件名,只能写一个文件名。如果配置多并发度(channel > 1),或者文件的大小超过 maxFileSize 配置的值,那么文件会被命名成 filename_0_0, filename_0_1,...,filename_1_0,filename_1_1 。第一个数字是 channel 的编号,第二个数字是拆分后的文件编号。
98+
- 必选:否
99+
- 字段类型:String
100+
- 默认值:无
101+
102+
103+
- **timeout**
104+
- 描述:连接超时时间,单位毫秒
105+
- 必选:否
106+
- 字段类型:int
107+
- 默认值:5000
108+
109+
110+
- **maxFileSize**
111+
- 描述:写入ftp单个文件最大大小,单位字节
112+
- 必须:否
113+
- 字段类型:long
114+
- 默认值:1073741824(1G)
115+
116+
117+
- **writeMode**
118+
- 描述:ftpwriter写入前数据清理处理模式
119+
- append:追加
120+
- overwrite:覆盖
121+
- 注意:追加写入是指在目录下追加写入一个文件a,并不是往某个文件追加写入内容;覆盖写入是指覆盖目录下所有文件,overwrite模式时会删除ftp当前目录下的所有文件
122+
- 必选:否
123+
- 字段类型:string
124+
- 默认值:append
125+
126+
127+
- **column**
128+
- 描述:需要读取的字段
129+
- 注意:不支持*格式
130+
- 格式:
131+
```json
132+
"column": [{
133+
"name": "col",
134+
"type": "string",
135+
"index":1,
136+
"isPart":false,
137+
"format": "yyyy-MM-dd hh:mm:ss",
138+
"value": "value"
139+
}]
140+
```
141+
- 属性说明:
142+
- name:必选,字段名称
143+
- type:必选,字段类型,需要和数据文件中实际的字段类型匹配
144+
- index:非必选,字段在所有字段中的位置索引,从0开始计算,默认为-1,按照数组顺序依次读取,配置后读取指定字段列
145+
- isPart:非必选,是否是分区字段,如果是分区字段,会自动从path上截取分区赋值,默认为fale
146+
- format:非必选,按照指定格式,格式化日期
147+
- value:非必选,常量字段,将value的值作为常量列返回
148+
- 必选:是
149+
- 参数类型:数组
150+
- 默认值:无
151+
152+
153+
### 2、sql
154+
155+
- **connector**
156+
- 描述:ftp-x
157+
- 必选:是
158+
- 字段类型:String
159+
- 默认值:无
160+
161+
162+
- **path**
163+
- 描述:文件路径
164+
- 必选:是
165+
- 字段类型:String
166+
- 默认值:无
167+
168+
169+
- **file-name**
170+
- 描述:文件名,如果不指定则随机生成
171+
- 必选:否
172+
- 字段类型:String
173+
- 默认值:无
174+
175+
176+
- **protocol**
177+
- 描述:服务器访问协议,目前支持ftp、sftp
178+
- 必选:是
179+
- 字段类型:String
180+
- 默认值:无
181+
182+
183+
- **host**
184+
- 描述:服务地地址
185+
- 必选:是
186+
- 字段类型:String
187+
- 默认值:无
188+
189+
190+
- **port**
191+
- 描述:ftp服务器端口
192+
- 必选:否
193+
- 字段类型:int
194+
- 默认值:若传输协议是sftp协议,默认值是22;若传输协议是标准ftp协议,默认值是21
195+
196+
197+
- **username**
198+
- 描述:服务器登陆用户名
199+
- 必选:是
200+
- 字段类型:String
201+
- 默认值:无
202+
203+
204+
- **password**
205+
- 描述:服务器登陆密码
206+
- 必选:否
207+
- 字段类型:String
208+
- 默认值:无
209+
210+
211+
- **format**
212+
- 描述:文件的类型,和原生flink保持一致,支持原生所有类型
213+
- 必选:否
214+
- 参数类型:string
215+
- 默认值:csv
216+
217+
218+
- **connect-pattern**
219+
- 描述:protocol为ftp时的连接模式,可选PASV和PORT
220+
- 必选:否
221+
- 字段类型:String
222+
- 默认值:PASV
223+
224+
225+
- **timeout**
226+
- 描述:连接超时时间,单位毫秒
227+
- 必选:否
228+
- 字段类型:String
229+
- 默认值:5000
230+
231+
232+
- **write-mode**
233+
- 描述:ftpwriter写入前数据清理处理模式
234+
- append:追加
235+
- overwrite:覆盖
236+
- 注意:追加写入是指在目录下追加写入一个文件a,并不是往某个文件追加写入内容;覆盖写入是指覆盖目录下所有文件,overwrite模式时会删除ftp当前目录下的所有文件
237+
- 必选:否
238+
- 字段类型:string
239+
- 默认值:append
240+
241+
242+
- **max-file-size**
243+
- 描述:写入ftp单个文件最大大小,单位字节
244+
- 必须:否
245+
- 字段类型:long
246+
- 默认值:1073741824(1G)
247+
248+
249+
## 五、数据类型
250+
|支持的类型|BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL, STRING, VARCHAR, CHAR, BINARY, TIMESTAMP, DATETIME, TIME, DATE|
251+
| --- | --- |
252+
|不支持的类型|ARRAY, MAP, STRUCT|
253+
254+
255+
## 六、脚本示例
256+
见项目内`chunjun-examples`文件夹

0 commit comments

Comments
 (0)