(Python) 대용량 데이터 처리 속도 높이기(2)

기존에 apache nifi를 이용하여 데이터 처리를 진행한 경험이 있다.

이를 바탕으로, 100MB의 zip 파일을 옮기고자 한다.

결과적으로는 대략 2.5초 정도의 시간이 소요되며, 같은 서버의 다른 디렉토리로 이동시키는 정도로 진행을 하였다.

서버는 Centos7이며, 사양은 테스트용이기 때문에 그다지 좋은 사양은 아니다.

<서버 사양>

<nifi data flow>

<ListSFTP>

Listing Strategy : Tracking Timestamps

Hostname : IP주소

SFTP : 22 포트

Username/Password : 서버 아이디/패스워드

Remote Path : 파일이 저장된 경로

File Filter Regex : 파일 확장자

Search Recursively : True로 설정하면 Remote Path 아래의 하위 디렉터리에서도 파일을 탐색

<FetchSFTP>

Hostname : IP 주소

Port : 22 포트

Username/Password : 서버 아이디/패스워드

Remote File : 파일이 저장된 경로/이름

<PutFile>

Directory : 경로 설정