본문 바로가기
728x90
반응형

DevOps/Data Lake5

nifi-api Rest API는 NiFi 인스턴스를 실시간으로 명령하고 제어하기 위한 프로그래밍 방식의 액세스 제공 프로세서를 시작 및 중지하고, 대기열을 모니터링하고, 출처 데이터를 쿼리하는 등의 작업 수행 가능 내 목적에 맞게 코드를 개발한 다음, nifi-api를 활용하여 데이터 flow를 restAPI로 쉽게 컨트롤 할 수 있음 GET /processors/{id}를 통해 nifi에서 만든 flow를 확인할 수 있음 PUT /processors/{id} ["component"]["state"]의 값은 'STOPPED' 상태이며, PUT restAPI를 이용하여 'RUNNING'으로 변경하여 실행할 수 있음 PUT /processors/{id}/run-status 실행 중인 flow는 ["component"][".. 2023. 1. 16.
Python FastAPI - RestAPI RESTAPI Representational state transfer 약자 네트워크를 통한 클라이언트 및 서버 통신의 패턴을 정의하는 소프트웨어 아키텍처 Rest 아키텍쳐 제약 조건 Stateless : 서버는 클라이언트의 요청 사이에 어떤 상태도 유지하지 않음 클라이언트-서버 : 클라이언트와 서버는 서로 분리되어 각자가 독립적으로 개발할 수 있어야 함 캐시 가능 : 서버에서 검색된 데이터는 클라이언트 또는 서버에서 캐시가 가능해야 함 균일한 인터페이스 : 서버는 표현을 정의하지 않고, 리소스에 액세스하기 위한 균일한 인터페이스 제공해야 함 계층화된 시스템 : 클라이언트는 프록시 또는 로드 밸러스와 같은 다른 계층을 통해 간접적으로 서버의 리소스에 액세스할 수 있음 리소스는 RestAPI에 대한 HTT.. 2023. 1. 16.
Python FastAPI - restAPI를 활용한 mssql 연동 mssql을 연동하기 위해서는 ODBC 데이터 원본 관리자를 통해 ODBC Driver를 등록해야 된다. ODBC Driver 17 for SQL Server 다운 검색 - ODBC 데이터 원본(64비트) - https://learn.microsoft.com/ko-kr/sql/connect/odbc/download-odbc-driver-for-sql-server?view=sql-server-ver16 추가 버튼을 클릭하여 ODBC Driver 17 for SQL Server 클릭 이름과 서버를 작성하고 다음 클릭 ‘사용자가 입력한 로그인ID 및 암호를 사용하는 SQL Server 인증 사용’ 체크하면, 하단에 로그인ID와 암호를 작성하고 다음 클릭 ‘기본 데이터베이스를 다음으로 변경’ 체크하고, 데이터베.. 2023. 1. 16.
Python_FastAPI : MSSQL 연동 MSSQL 연동을 위해, pymssql 설치한다. - pip install pymssql import pymssql server = 'IP:PORT' username = 'username' password = 'password' database = 'db' # MSSQL CONNECT conn = pymssql.connect(server, username, password, database) cursor = conn.cursor() # SELECT cursor.execute('SELECT * from TABLE_NAME;') for row in cursor: print("id=%s, pw=%s" % (row[0].encode('ISO-8859-1').decode('euc-kr'), row[1].encod.. 2023. 1. 10.
Data Lake 개념정리 Data Lake(데이터 레이크)는 모든 정형, 반 정형, 비정형 및 이진 데이터를 자연 / 네이티브 / 원시 형식으로 저장할 수있는 시스템 또는 중앙 집중식 데이터 저장소 구조화 된 데이터에는 RDBMS의 테이블이 포함될 수 있음 반 구조화 된 데이터에는 CSV 파일, XML 파일, 로그, JSON 등이 포함됨 구조화되지 않은 데이터에는 PDF, 워드 문서, 텍스트 파일, 이메일 등이 포함될 수 있고, 바이너리 데이터에는 오디오, 비디오, 이미지 파일이 포함될 수 있음 데이터 저장을위한 플랫 아키텍처를 따르며 일반적으로 데이터는 개체 Blob 또는 파일의 형태로 저장되고, 데이터 레이크를 사용하면 데이터를 먼저 구조화 할 필요없이 모든 기업을 한 곳에있는 그대로 저장할 수 있음 머신 러닝, 실시간 분석.. 2022. 4. 5.
728x90
반응형

티스토리툴바