자율탐구 자율탐구

뭘 내가 아는척을 하려고 해도 아는 게 없으니 할 수 있는 말이 없다.그것도 기업입장에서, 경력자 입장에서 바라본다면 난 그냥 일반인보다 조금 더 아는 수준에 불과한데 내가 무슨 할말이 있겠는가.. 비전공자 인 이상 결국 할 수 있는 말은 ‘나 아픙로 자라쑤 이써요!’하는 혀짧은말정도 내가 하기 위해서 투자한 것은, 시간 : 자료구조, 네트워크, 클라우드, FastAPI원한것은 데이터 엔지니어, 행한것은 백엔드에 가까운데요? - 라고 말하기에도 부끄러운..수학이 싫어서 도망친자, 통계에서 벗어날 수 없다 - 데이터 분석정확히는 투자 시간 대비 가성비가 안나올거 같아서 안건드렸다 정도왜냐면 내가 전문적으로 공부하진 못하니까 / 시간이 부족하니까 그래서 추가 기능을 얻고자 하였고지금와서 보니 내가 가진 것도..

마지막 프로젝트 마무리하면서 깨달은건 많다. 다만 확실한 것은 아직도 부족한 것이 많아 채워야 할 것이 많다는 것. ADsP에서 배웠듯이 하드 스킬도, 소프트 스킬도 다 갖춰야하지만 그 둘다 부족하다는 것은 음.. 업무에 적합하지 않다는 것 아닐까 노력은 해보겠지만 내가 나아갈 길에 대해 더 생각해야겠다 싶다 미국 가는 것에 대해 굳이 부정적으로 생각할 필요는 없다는 것. 그것만 오늘 깨달은걸로 하자

발표 내용 정리 하는 방법 중 몇가지 수치에 대한 정의 대상단순 수치 :  결과값 같은 경우는 생략해도 무관하나기준값 : R**2와 같이 사전에 미리 정의한 기준값은 미리 표기해야 적절하다. EX) PCA 0.6 이상, 클러스터별 분배가 50% 이하로 잘 된.. 등   z-score의 범위에 대해 설명할까?=>  할려면 할수록 말해야 할 내용이 많아진다.==>줄이자   PPT를 시각화 하면서 만든다=> 중간의 당연한 내용(OHE 시행함)이 빠질 수 도 있다.   전처리 과정과 정규화 구분하기이진분류 // Scaling

데이터 처리를위한 Encoding 과정에서 확인 할 점. 1. 무엇이 원본인가, 전체를 대상으로 처리하는가? -> 일부만을 포함하고 있다면 각각에 대해 적용 시 문제가 생길 수 도 있다.ex) Label은 각각의 요소에 대해서 번호 부여 : 일부 누락 시 생략될 수 있음      OneHot, Robust 집단의 평균과 편차에 관련된 연산 : 숫자가 바뀜.  1) 각 scaler 학습 값 저장을 위해 개별 변수로 지정oe1, oe2.., le1,le2 ... 2) 이후 원본 데이터에 대해 학습한 encoder를 분할 column에 적용문제 : label : 숫자나열은 가능하나  OHE : 이진분류는 불가하다  column내 변수 unique값이 동일한 갯수가 존재함을 확인했으나 불가했다.  이유 :Val..

클러스터링 이후에 그룹별 Label값을 붙일 수 있다!

공부는 역시 벼락치기!시발스케일링 - 이상치 제거 순서 나의 의견 : 제거하고 스케일링 해야함이유 :  스케일링의 방식 : 편차 기준 값의 재정렬 -> 스케일링 먼저 하고 제거하면 이상치가 적용된 상태에서의 정렬 : 남은 값들에 있어 의미가 퇴색됨.  조사 대상과 통계의 평균ex) 각 값을 Join 하기 전, 볼펜A와 B간의 길이의 평균 비는 1:1이후 소비자 구매 수량에 따라 A*3,B*1 는 평균비가 1:3으로 A쪽으로 쏠리게 된다. 이때 주목할 대상이 어디인가에 따라 이전값에 대해 이상•결측치 처리를 하거나 이후값에 처리를 하는것을 결정해야 한다.

데이터 전처리 작업 시 기준 정하기 어느 컬럼에 적용이 가능한가?ex ) price : 끝값이 중요 // time : 끝값 의미X(min : 일정값 , max : 사건, 사고) 그렇다면 그 영향은 어떻게 될 것인가?그 내용과 관련없는 다른 column의 값들은 ? 무작위로 갈려나가는데 어떤 특정 값(price의 극단값) 이라서 잘려나갈 가능성은? 화물 탑차에 적재하는 물건의 크기를 단순히 부피로 계산해도 되는가?적재 효율성을 싸그리 무시한 경우라고 할 수 있으나 평균적인 예상은 가능하다.그리고 무게와 관련된 포장의 한계점을 생각해본다면 .. 데이터 분석은 깊게 고민할 수록 내용이 많아져 어느정도 부분을 포기해야 할까 아니면 디테일을 챙겨야 할까?    새로 알게 된 코드import seaborn as s..

scaler 기준언제 어떻게 무엇에 적용할 것인가? MNIST 데이터 대상으로 RobustScaler 를 예시로 들어보자면 2차원 이하 값에 대해서 적용이 가능하기에 이를 해결하고자 적용 대상인 [ [ [ float*28 ]*28 ]*60000 ](float 범위는 0~255 : 명암비) 중 각 글자에 대해 적용 하는 방식을 생각해봤으나 최대, 최소 값이 기존 범위와는 다르게 개별적으로 적용되기에 통용되기엔 어려울 수도 있고, 대조 비가 늘어나는 것이니 글자 인식의 관점에서는 더욱 좋은 방식일 수 있다는 생각 또한 가능했다.