728x90 데이터분석7 프로젝트 데이터셋 선정 및 구조 파악 1. 데이터셋 선정 Kaggle의 'E-Commerce Shipping Data를 선정했다. 주문 및 배송 관련 데이터를 포함하고 CSV파일로 다운로드가 가능하기 때문이다. https://www.kaggle.com/datasets/prachi13/customer-analytics E-Commerce Shipping DataProduct Shipment Delivered on time or not? To Meet E-Commerce Customer Demandwww.kaggle.com 2. 구조 파악 코드 예제import pandas as pd# 데이터 불러오기data = pd.read_csv('/Train.csv') # 파일 경로에 맞게 수정# 데이터 구조 확인print(data.info()) .. 2024. 12. 31. 이커머스 주문 데이터 분석 및 자동화 파이프라인 구축 1. 프로젝트 목표제가 일하고 있는 은행의 ETL같은 경우에는 레거시한 프로그램 위에서 보수적으로 돌아갑니다. 그래서 데이터 파이프라인에 대한 경험하고고 airflow와 tableu의 숙련도를 올리고 싶었습니다. 이커머스 주문 데이터를 분석하고, 자동화된 ETL(Extract, Transform, Load) 파이프라인을 구축합니다. 이 과정에서 데이터 흐름을 최적화하고, 실시간 분석 및 시각화를 가능하게 하여 비즈니스 의사결정에 필요한 인사이트를 도출할 계획입니다. 데이터 선정부터 처리, tableu를 통한 시각화까지 데이터 엔지니어로써의 이해도를 높이고자 합니다. 2. 일정 및 단계별 계획1주차: 데이터 수집 및 탐색 (Extract)데이터셋 확보 및 구조 파악데이터 로딩 및 기초 분석데이터 시각화를 .. 2024. 12. 24. [합격 후기] ADsP 2일 벼락치기 2월 23일(목)과 2월 25일(토)에 벼락치기로 공부해 ADsP에 합격했습니다. 24일 금요일이 동기들 졸업식이라서 하루종일 놀았거든요. (의리에 죽고 사는 편) 입행 이후에 경제 관련 시험(펀드, 파생)에 주구장창 떨어져서 시험에 대한 자신감이 많이 떨어졌었는데 본 전공인 시험에 통과해서 다행이었습니다. 합격 기념으로 벼락치기 후기를 써보겠습니다. 1. 사전지식 데이터분석에 최근 관심을 가지게 되었지만 그렇게 오래 되지는 않았고 SQL 정도는 자유롭게 다룰 수 있는 정도였습니다. 2.공부법 - 책 ADsP 공부법을 검색하면 다 나오는 그 민트책을 풀었습니다. 작년에 칠 계획이었는데 안 쳐서 22년도 책으로 공부했어요. 가능은 한데 복원 문제들 때문에 웬만하면 해당 년도 책을 구입하는 게 좋을 거 같습.. 2023. 3. 19. [책 리뷰] 빅데이터 시대, 성과를 이끌어 내는 데이터 문해력 데이터 문해력(literacy) 데이터 문해력이란 데이터를 읽고 해석해서 활용하는 능력이다. 또 데이터에서 찾아낸 인사이트를 자신의 결론으로 이끄는 이야기를 만드는 능력으로 요새 비즈니스적으로 강조되는 개념이다. 책은 목적과 문제를 올바른 데이터와 연결지어 가치 있는 결론을 낼 수 있는 사고방식과 기술을 안내한다. 1. 앞으로 필요한 건 데이터 문해력: 분석보다 활용 통계를 배워도 활용하지 못하는 이유 (2)번 상자는 통계지식이나 분석 방법 듣 기계와 도구가 더 잘하는 부분이다. 1번 상자라는 인풋을 통해 3번 상자라는 아웃풋을 내야한다. 2번 상자의 결과물은 계산과 분석의 '결과'에 지나지 않아서 다른 사람에게 전달했을 때 설득력이 떨어진다. 그리고 사람들은 보통 데이터 분석이 잘 안 될 경우 (2)번.. 2023. 1. 28. 이전 1 2 다음 728x90
