SiLaure's Data

- Dataframe 기초 method dataframe의 맨 위 다섯 줄을 보여주는 head() df.head() 출력 : 더보기 위에서부터 3줄 df.head(3) 출력 : 더보기 아래에서부터 3줄 df.tail(3) 출력 : 더보기 dataframe index df.index 출력 : 더보기 DatetimeIndex(['2021-01-01', '2021-01-02', '2021-01-03', '2021-01-04', '2021-01-05', '2021-01-06'], dtype='datetime64[ns]', freq='D') dataframe columns df.columns 출력 : Index(['A', 'B', 'C', 'D'], dtype='object') dataframe values --..

- Pandas? 데이터 분석에서 가장 많이 사용하는 라이브러리 pandas는 "python data analysis"의 약자 pandas는 정형 데이터 처리에 특화되어 있다. pandas 역시 다양한 머신러닝 라이브러리들에 의존성을 가지고 있습니다. e.g. scikit-learn, scipy, statsmodel, tensorflow(딥러닝), pytorch, ... 간단하게 생각하면, python에서 excel의 기능을 사용할 수 있다. pandas = python + excel // pandas & excel // pandas VS MS Excel 하지만, pandas는 numpy array를 베이스로 지원하며 파이썬과 함께 강력한 시너지를 내기 때문에, 엑셀 그 이상의 퍼포먼스를 낼 수 있다. ..

- Powerful Numpy numpy array는 파이썬 리스트에 비해 연산이 빠르다. broadcast, static type binding, fixed array size, ... 등의 vectorize 조건에서. == 원소의 개수가 많을 때. 그렇다면 Numpy는 정말 얼마나 강력한가? np.random.seed(0) # Numpy array의 각 원소의 역수를 취하는 함수. # values라고 하는 list 또는 numpy array를 받아서 해당하는 numpy array를 저장하는 함수로 # 하나씩 역수를 취해준다. def reverse_num(values): output = np.empty(len(values)) for i in range(len(values)): output[i] = 1...

- Aggregation functions : 전체 데이터 값에 대해 수치적 계산을 해 주는 함수 mat1 array([[-0.92644426, 0.45063478, 0.61315517], [-0.32615381, 1.10159801, -0.91424833], [-0.69560478, 0.01941608, 0.18662921], [ 1.30146264, -1.1894387 , -0.11196524], [ 0.23942379, -0.21262613, -0.11753845]]) # 15개 숫자의 총합. np.sum(mat1) axis : 기본 축을 의미 axis=0 column 을 기준으로 연산 axis=1 은 row 를 기준으로 연산 # 다른 축으로 더해보기 np.sum(mat1, axis=0) np.su..

- Numpy Methods jupyter notebook에서 글자 + Shift + Tab을 누르면 설명이 나온다. import numpy as np # 표준정규분포에서 random sampling을 한 원소를 가지는 5x3 행렬을 만든다. mat1 = np.random.randn(5,3) mat1 array([[-0.92644426, 0.45063478, 0.61315517], [-0.32615381, 1.10159801, -0.91424833], [-0.69560478, 0.01941608, 0.18662921], [ 1.30146264, -1.1894387 , -0.11196524], [ 0.23942379, -0.21262613, -0.11753845]]) # mat1에 절대값 씌우기 np.ab..

비슷하다? 비슷하다는 기준이 무엇인지 알아야 한다. Q. 벡터란 무엇인가? Vector = List of Numbers 기저(basis) = 축(axis) 축? : 공간 또는 위치를 나타낼 때의 절대적 개념의 기준 데이터의 column 차원(dimension) = 벡터의 원소 개수 숫자. 숫자가 3개면 3차원, 1000000개면 1000000차원 방향(direction) = 단위 벡터(unit vector) 벡터를 그 벡터의 크기로 나눈 것 어떤 벡터가 어느 방향을 가리키고 있는지 나타내는 것 - categorical feature 만약 어떤 설문조사에서 남 / 여 / 무응답 인 선택지가 있을 때 이를 수치화 한다면 0 / 1 / 2 로 해도 될까? 학력을 초졸 / 중졸 / 고졸 / 학사 / 석사 / 박..

- Array Operation (like vector) --> Universal Function numpy array를 쓰는 가장 큰 이유는 vector처럼 사용할 수 있기 때문이다. e.g. arr1 = np.array([1, 2, 3, 4, 5]) --> (1, 2, 3, 4, 5) == vector 그렇기 때문에 scipy, matplotlib, scikit-learn, pandas, tensorflow, pytorch 등 대부분의 데이터분석 라이브러리들이 numpy array를 사용한다. 대부분의 데이터 분석 라이브러리들은 벡터를 사용하는데, 그 벡터가 바로 numpy array로 표현되기 때문. 데이터 분석은 99.9% 데이터를 벡터로 표현하여 분석하기 때문에, 이 특징은 굉장히 중요하다. 벡..

- Numpy Array 만들기 1. np라는 이름으로 numpy library를 불러온다. import numpy as np 2. Python list 선언한다. data = [1, 2, 3, 4, 5] # data, type(data) 3. Python 2차원 리스트(행렬) 선언한다. data2 = [[1, 2, 3], [4, 5, 6], [7, 8, 9]] 4. Python list를 numpy array로 변환한다. arr1 = np.array(data) # 2번처럼 미리 Python list를 선언하는 대신 list를 안에서 선언하고 바로 np.array를 만들 수 있다. np.array([1, 2, 3, 4, 5]) ndarray : numpy.ndarray(n-dimensional array..