Go 데이터 타입
부울린 타입 bool - true, false 특별한 1비트 정수 타입이다. && = and, || = or, ! = not 문자열 타입 string - string은 한번 생성되면 수정될 수 없는 Immutable 타입이다. 공백도 하나의 문자로 간주된다. 문자열에는 1이 아닌 0부터 시작하는 인덱스가 지정돼 있다. 문자열 연결은 덧셈과 같은 기호를 쓴다. 정수형 타입 장비에 의존적인 정수 타입 - int, uint, uintptr 부호가 있는 정수(signed integer) - int8, int16, int32, int64 부호가 없는 정수(unsigned integer) - uint8, uint16, uint32, uint64 Float 및 복소수 타입 부동 소수점 타입 - float32(단정도 ..
2023. 1. 2.
Apache Kafka 개념 정리
Apache Kafka 개념 오픈 소스 분산형 이벤트 스트리밍 플랫폼으로 고성능의 데이터 파이프 라이닝, 스트리밍 분석,데이터 통합과 업무에 필수적인 어플리케이션을 위한 수많은 기업들에서 사용됨 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이고, 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표 분산 트랜잭션 로그로 구성된, 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이고, 디자인은 트랜잭션 로그에 많은 영향을 받았음 대표적인 메시징 시스템으로 Kafka, RabbitMQ, ActiveMQ가 있음 Kafka 아키텍..
2022. 4. 5.
Data Lake 개념정리
Data Lake(데이터 레이크)는 모든 정형, 반 정형, 비정형 및 이진 데이터를 자연 / 네이티브 / 원시 형식으로 저장할 수있는 시스템 또는 중앙 집중식 데이터 저장소 구조화 된 데이터에는 RDBMS의 테이블이 포함될 수 있음 반 구조화 된 데이터에는 CSV 파일, XML 파일, 로그, JSON 등이 포함됨 구조화되지 않은 데이터에는 PDF, 워드 문서, 텍스트 파일, 이메일 등이 포함될 수 있고, 바이너리 데이터에는 오디오, 비디오, 이미지 파일이 포함될 수 있음 데이터 저장을위한 플랫 아키텍처를 따르며 일반적으로 데이터는 개체 Blob 또는 파일의 형태로 저장되고, 데이터 레이크를 사용하면 데이터를 먼저 구조화 할 필요없이 모든 기업을 한 곳에있는 그대로 저장할 수 있음 머신 러닝, 실시간 분석..
2022. 4. 5.
