본문 바로가기
728x90
반응형

Error/problem and solution6

카프카 500,000 events/s 처리(2) 최종 목표는 카프카를 이용하여 초당 50만건의 이벤트 데이터 스트림 처리 및 초당 500개의 프로세스 처리를 목표로 진행하고 있다. 현재, 초당 10만건의 이벤트 데이터 스트림 처리 및 500개의 프로세스 처리를 완료했다. 구동했던 서버의 사양이 위의 조건에 맞는 최적사양보다는 현저히 낮은 관계로 아마 고사양 하드웨어 스펙에서 실행하면, 결과가 달라질 것으로 사료된다. 더보기 최적의 하드웨어 스펙 CPU : 32 core 이상 RAM : 128GB 이상 Network : 25 Gbps Ethernet 이상 현 하드웨어 스펙 1. 카프카 프로듀서 CPU : 8코어 Memory : 32GB 2. 주키퍼, 카프카 CPU : 4코어 Memory : 24GB 더보기 1.68초당 10만건의 이벤트 처리 및 500개.. 2023. 5. 11.
[KAFKA] Failed to clean up log for __consumer_offsets, Shutdown broker because all log dirs in 원인 분석 및 해결방안 [KAFKA] Failed to clean up log for __consumer_offsets, Shutdown broker because all log dirs in 오류는 Kafka 브로커에서 __consumer_offsets 토픽 로그를 정리하는 동안 문제가 발생하여 Kafka 서버가 종료된 것을 나타낸다. 이 오류가 발생하는 원인은 일반적으로 로그 디렉토리의 권한 문제, 디스크 용량 부족, 파일 시스템 오류 등이고, 이러한 문제로 인해 Kafka가 로그 파일을 삭제할 수 없으며, 이로 인해 Kafka가 종료된다. 이 문제를 해결하기 위해서는 다음과 같은 방법을 시도할 수 있습니다. 로그 디렉토리의 권한을 확인해야 하며, Kafka 브로커가 로그 디렉토리를 읽고 쓸 수 있는지 확인해야 함.. 이를.. 2023. 4. 24.
카프카 500,000 events/s 처리(1) 초당 50만건의 데이터 처리를 위한 카프카 server.properties 설정 값을 변경해야 하며, 아래와 같음. config 설정 값을 변경 후에 데이터 처리 테스트를 진행해볼 예정임. 1. num.partitions 이 설정은 Kafka 토픽에 대한 파티션 수를 결정합니다. 파티션 수를 늘릴수록 초당 처리 가능한 이벤트 수가 증가합니다. 따라서, 이 값을 높여야 할 수 있습니다. 이 값은 토픽을 생성할 때 설정하거나, 기존 토픽의 파티션 수를 변경할 때 수정할 수 있습니다. # num.partitions=100 2. message.max.bytes 이 설정은 Kafka에서 처리 가능한 최대 메시지 크기를 결정합니다. 메시지가 크면 Kafka의 처리 성능이 저하될 수 있으므로, 가능한한 작은 크기로 .. 2023. 4. 21.
(Python) 대용량 데이터 처리 속도 높이기(3) 이전에 같은 서버 내에서 다른 디렉토리에 100MB 파일을 옮기는데 대략 5초 정도 소요된 것으로 확인하였다. 현재, 120MB zip 파일을 다른 서버의 디렉토리에 옮기는데, 대략 10초 정도 소요된 것을 확인할 수 있었다. 대용량 파일을 처리하기 위해서는 좀 더 고도화해야 될 필요가 있다고 판단이 된다. 여기에서는 다른 서버의 디렉토리에 파일을 옮기기 위해서는 PutSFTP를 활용하였다. 2023. 4. 20.
(Python) 대용량 데이터 처리 속도 높이기(1) Kafka를 이용한 대용량 3D 이미지 데이터를 전달하여, 딥러닝 모델을 구축하기 위한 python 코드를 개발 중이다. 목표는 100MB의 대용량 파일을 1초 이내로 보내는 것을 목표로 하고 있다. 현재는 임의의 데이터를 이용하여 데이터를 전달하려고 한다. (Kafka로 안된다면, Spark나 Flink를 이용할 예정이다.) 첫 번째 시도로, 30MB의 mp4 파일을 카프카 서버로 produing하는 시간은 대략 5.5~ 5.9초 정도 소요가 된다. import time from kafka import KafkaProducer # Kafka Producer 설정 producer = KafkaProducer( bootstrap_servers=['localhost:9092'], batch_size=6553.. 2023. 4. 18.
(M1 mac) vpn 연결 및 gitlab 접속 문제 해결 vpn 연결을 통해 gitlab 접속하여 소스코드를 받아오려고 했다. 회사에서 윈도우를 사용하고, 집에서 개인적으로 맥북을 사용해서 혼동이 올 때가 있다. 회사에서는 문제없이 사용했는데, 맥북에서 소스코드를 받아서 작업을 하려고 진행하는 과정에서 연결 오류가 발생했다. 일단, 간단하게 IPSec을 통한 L2TP로 vpn 접속을 진행하였고, 이름, 서버주소, 계정이름, 암호, 공유보안을 작성하면 된다.(윈도우와는 크게 다르지 않다.) IPv4 구성은 PPP 사용을 하고, IPv6 구성은 자동으로 되어 있는데 이를 링크-로컬 전용으로 바꿔야지 깃랩 접속이 가능하게 되었다. 이유는 알아볼 예정이다.. IPv4 주소와 IPv6 구성을을 해놓으면, DNS 서버도 자동으로 생성이 되어서, 문제가 되지 않는다. 2023. 4. 18.
728x90
반응형

티스토리툴바