본문 바로가기
728x90
반응형

분류 전체보기336

Data Lake 개념정리 Data Lake(데이터 레이크)는 모든 정형, 반 정형, 비정형 및 이진 데이터를 자연 / 네이티브 / 원시 형식으로 저장할 수있는 시스템 또는 중앙 집중식 데이터 저장소 구조화 된 데이터에는 RDBMS의 테이블이 포함될 수 있음 반 구조화 된 데이터에는 CSV 파일, XML 파일, 로그, JSON 등이 포함됨 구조화되지 않은 데이터에는 PDF, 워드 문서, 텍스트 파일, 이메일 등이 포함될 수 있고, 바이너리 데이터에는 오디오, 비디오, 이미지 파일이 포함될 수 있음 데이터 저장을위한 플랫 아키텍처를 따르며 일반적으로 데이터는 개체 Blob 또는 파일의 형태로 저장되고, 데이터 레이크를 사용하면 데이터를 먼저 구조화 할 필요없이 모든 기업을 한 곳에있는 그대로 저장할 수 있음 머신 러닝, 실시간 분석.. 2022. 4. 5.
Python 데이터분석과 이미치 처리 : 다양한 개발 환경 소개 & Numpy 기본 사용법 PyCharm - 가장 많은 사람들이 사용하는 파이썬 개발 환경 중 하나 - Community 버젼을 이용해도 기본적인 파이썬 개발이 가능함 CoLab - 나만의 파이썬 개발환경을 1초 만에 가질 수 있도록 해주는 서비스 - OpenCV를 포함한 이미지 처리 라이브러리가 기본적으로 설치되어 있음 - 무료 서비스일 뿐만 아니라 GPU 런타임을 지원함 - 다른 사람과 함께 코드를 공유하며, 협업하기에 좋은 개발 환경임 Repl.it - 아무런 계정도 필요 없이, 즉시 Python 개발 가능 - 여러 사람이 동시에 하나의 화면에서 코딩이 가능 - 소스코드 업로드 및 저장이 가능함 - 다양한 패키지를 검색하여 설치할 수 있음 기초 파이썬 라이브러리 : Numpy, Matplotlib : CoLab, Repl.i.. 2022. 4. 3.
Python 데이터분석과 이미치 처리 : 행렬의 필요성 행렬의 필요성 - 현실 세계의 많은 문제는 행렬을 이용해 해결할 수 있음 - 행렬로 해결할 수 없다면, 해결하기 매우 어려운 문제일 수 있음 - 이미지는 행렬로 표현될 수 있음 2022. 4. 3.
Python 데이터분석과 이미치 처리 : 기본 데이터 분석 : 데이터를 수집하고, 분류하여 시각적으로 표현하는 과정 이미지 처리 : 특정한 목적에 맞게 이미지를 가공하는 과정 * 검색엔진, 동영상 스트리밍, SNS 등 모든 산업 서비스에서 데이터 분석과 이미지 처리가 사용되고 있음 * 회사가 아닌 개인이 활용해도 매우 유용한 도구를 만들 수 있음 유튜브 참조해서 공부하였음 https://github.com/ndb796/Python-Data-Analysis-and-Image-Processing-Tutorial GitHub - ndb796/Python-Data-Analysis-and-Image-Processing-Tutorial: 파이썬을 활용한 데이터 분석과 이미지 처리 파이썬을 활용한 데이터 분석과 이미지 처리 - 강의 자료 및 소스코드 Reposi.. 2022. 4. 3.
모두의 데이터분석 with 파이썬 : 5. 파이썬 데이터 분석 라이브러리를 활용한 프로젝트 #!/usr/bin/env python # coding: utf-8 #13.숫자 데이터를 쉽게 다루게 돕는 numpy 라이브러리 # In[1]: import matplotlib.pyplot as plt import numpy as np t = np.arange(0.,5.,0.2) plt.plot(t,t,'r--',t,t**2,'bs',t,t**3,'g^') plt.show() # In[2]: import matplotlib.pyplot as plt t=[] p2=[] p3=[] for i in range(0,50,2): t.append(i/10) p2.append((i/10)**2) p3.append((i/10)**3) plt.plot(t,t,'r--',t,p2,'bs',t,p3,'g^') plt.sho.. 2022. 4. 3.
모두의 데이터분석 with 파이썬 : 4. 대중교통 데이터 프로젝트 #!/usr/bin/env python # coding: utf-8 #11. 대중교통 데이터 시각화하기 # In[6]: import csv f = open('subwayfee.csv', 'r', encoding='utf8') data = csv.reader(f) for row in data : print(row) # In[8]: import csv f = open('subwayfee.csv', 'r', encoding='utf8') data = csv.reader(f) next(data) for row in data : for i in range(4,8) : row[i] = int(row[i]) print(row) # In[12]: import csv f = open('subwayfee.csv', 'r'.. 2022. 4. 3.
모두의 데이터분석 with 파이썬 : 3. 인구 공공데이터 #!/usr/bin/env python # coding: utf-8 #7.우리 동네 인구 구조 시각화하기 # In[15]: import csv f = open('age.csv', 'r', encoding='utf8') data = csv.reader(f) for row in data: print(row) # In[16]: import csv f = open('age.csv', 'r', encoding='utf8') data = csv.reader(f) for row in data: if '서울특별시 구로구 신도림동' == row[1]: print(row) # In[17]: import csv f = open('age.csv', 'r', encoding='utf8') data = csv.reader(f) .. 2022. 4. 3.
모두의 데이터분석 with 파이썬 : 2. 데이터 시각화 기초 #!/usr/bin/env python # coding: utf-8 #기본 그래프 그리기 # In[1]: import matplotlib.pyplot as plt plt.plot([10,20,30,40]) plt.show() # In[2]: import matplotlib.pyplot as plt plt.plot([1,2,3,4], [12,43,25,15]) plt.show() # In[3]: import matplotlib.pyplot as plt plt.title('plotting') plt.plot([10,20,30,40]) plt.show() # In[9]: import matplotlib.pyplot as plt plt.title('legend') plt.plot([10,20,30,40], la.. 2022. 4. 3.
모두의 데이터분석 with 파이썬 : 1. 기온 공공데이터 #!/usr/bin/env python # coding: utf-8 #3.서울이 가장 더웠던 날은 언제였을까? # In[1]: import csv f = open('seoul.csv', 'r', encoding='utf8') data = csv.reader(f) header = next(data) for row in data : print(row) f.close() # In[2]: import csv f = open('seoul.csv', 'r', encoding='utf8') data = csv.reader(f) header = next(data) for row in data: row[-1] = float(row[-1])#최고 기온을 실수로 변환 print(row) f.close() # In[3]: i.. 2022. 4. 3.
모두의 데이터분석 with 파이썬 : Python 기초 문법(입력, 출력, 연산자, for 반복문, if 조건문, 리스트 등) #!/usr/bin/env python # coding: utf-8 # In[ ]: #출력과 입력 그리고 변수 #print라는 이름의 함수는 괄호 안의 어떤 값을 모니터에 출력할 때 사용 print(3**2) print('hello world') #변수 #변하는 값 #‘name = ‘파이쏭’’ 코드에서 name이 바로 변수이고 = 기호는 오른쪽의 값을 왼쪽에 대입(또는 배정)하는 역할 name = '파이쏭' print(name) a = 1024 # 변수의 이름은 지정하면 됨 print(a) # name 변수의 값을 ‘파이쏭’ 대신 다른 값으로 바꿔보세요! name = '파이쏭' print(name+'님! 안녕하세요!') #input() 함수로 문자열 값 입력받기 name = input() print(na.. 2022. 4. 3.
728x90
반응형

티스토리툴바