본문 바로가기
728x90
반응형

DevOps/Apache Kafka4

kafka UI - CMAK 설치 및 실행 사이트에서 zip 파일을 먼저 다운 받는다. https://github.com/yahoo/CMAK/releases Releases · yahoo/CMAK CMAK is a tool for managing Apache Kafka clusters. Contribute to yahoo/CMAK development by creating an account on GitHub. github.com 이후에, cmak\conf\application.conf 경로에서 수정하면 된다. 변경 전 : # kafka-manager.zkhosts="kafka-manager-zookeeper:2181" 변경 후 : kafka-manager.zkhosts="localhost:2181" 변경 전 : # cmak.zkhosts="ka.. 2023. 1. 17.
kafka config 옵션 정리 Kafka Config(server.properties) # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the Apache License, Version 2.0 # (the "License"); you may not use this file except in compliance with # the Licen.. 2023. 1. 8.
Messaging System 개념 정리 Messaging System : 로그 데이터, 이벤트 메시지 등 API로 호출할 때 보내는 데이터들을 처리하는 시스템 메시징 시스템의 종류에는 Kafka, RabbitMQ, Active MQ, AWS SQS, JAVA JMS 등이 있음 MSA에서는 시스템간의 호출이 많기 때문에 결합도를 낮추기 위해서 메시징 시스템을 사용 어플리케이션 간에 메시지를 교환하기 위해 사용되는 시스템 Point to Point 방식, Pub/Sub 방식 Point to Point 방식 : 보내는 사람이 큐를 통해서 메시지를 전달하면 받는 사람이 큐에서 하나씩 꺼내 읽는 방식 Pub/Sub 방식 : Publisher(게시자)가 topic에 메시지를 보내면, 해당 topic을 구독해놓은 Subscriber(구독자) 모두에게 메시.. 2022. 4. 5.
Apache Kafka 개념 정리 Apache Kafka 개념 오픈 소스 분산형 이벤트 스트리밍 플랫폼으로 고성능의 데이터 파이프 라이닝, 스트리밍 분석,데이터 통합과 업무에 필수적인 어플리케이션을 위한 수많은 기업들에서 사용됨 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이고, 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표 분산 트랜잭션 로그로 구성된, 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이고, 디자인은 트랜잭션 로그에 많은 영향을 받았음 대표적인 메시징 시스템으로 Kafka, RabbitMQ, ActiveMQ가 있음 Kafka 아키텍.. 2022. 4. 5.
728x90
반응형

티스토리툴바