티스토리

Data Science

검색하기

블로그 홈

Data Science

lebi.tistory.com/m

happy :D

구독자: 1

방명록 방문하기

주요 글 목록

[Individual] 영화 추천 시스템! 完 - 2차 추천 영화 추천 시스템 마지막편 입니다! 지난편에서 mjw2305라는 유저가 해당 장르에서 가장 비슷한 유저임을 알아봤고 이번 편에서는 크롤링과 감정 분석 등을 이용하여 해당 유저에 대해 집중적으로 탐색 해보도록 하겠습니다! 유저 리뷰 크롤링 유저 페이지 에서는 유저가 영화에 대해 남긴 리뷰들을 볼 수 있습니다. 그러나 평점은 유저의 자유에 따라 생략될 수도 있는 것이기 때문에 만약 이 평점이 없다면 직접 리뷰를 읽어보지 않는 한 이 유저가 영화에 대해 어떤 평가를 내렸는지 알 수 없다는 문제가 존재합니다. 이 유저는 대부분의 영화 리뷰 마지막 부분에 평점을 남겼고 저는 이 부분을 놓치지 않기로 했습니다! 감정 분석 모델을 통해 유저가 영화에 대해 긍정적인지 부정적인지 예측하고 마지막에 유저가 직접 남긴 평점.. 공감수 0 댓글수 0 2020. 6. 2.
[Individual] 영화 추천 시스템! #4 - 비슷한 취향의 유저 찾기 이번 편에서는 1차 추천을 받은 영화들을 동시에 시청한 유저가 있는지 찾아보겠습니다! 영화 크롤링 imdb 웹 페이지는 imdb_id를 키 값으로 해당 영화 페이지에 접근할 수 있습니다. https://www.imdb.com/title/tt0167261/reviews?sort=helpfulnessScore&dir=desc&ratingFilter=0 일단 1번 추천 영화인 반지의 제왕의 imdb_id를 가지고 페이지에 접근해보면 이렇게 유저 아이디, 유저 리뷰, 평점 등의 정보를 확인할 수 있습니다. 알고싶은 건 유저 아이디와 평점이므로 1차 추천을 받은 영화들에서 필요한 정보를 긁어봅시다! 보통 크롤러를 만들 때 가장 큰 상자(user_name, user_rating)는 딕셔너리 형태( { } )로 만드.. 공감수 0 댓글수 0 2020. 5. 18.
[Individual] 영화 추천 시스템! #3 - 1차 추천 사용 데이터 제가 사용한 데이터는 해외 인터넷 영화 온라인 데이터베이스 IMDB에서 제공하는 데이터셋입니다. https://www.kaggle.com/rounakbanik/the-movies-dataset The Movies Dataset Metadata on over 45,000 movies. 26 million ratings from over 270,000 users. www.kaggle.com 이 중 영화 정보와 영화 평점 데이터를 가지고 피어슨 상관계수 함수를 이용해서 상관관계 순으로 추천을 받을거에요! 자세한 진행 과정은 마지막편에 첨부한 코드를 참고해주세요 :D 영화 정보 (movie 테이블) 처음 가져온 movie 테이블은 굉장히 다양한 정보를 담고있습니다. 이를 필요한 변수 선택, 중복 및.. 공감수 0 댓글수 0 2020. 5. 18.
[Individual] 영화 추천 시스템! #2 - 개요 추천 시스템(Recommendation System) 데이터 양이 급증하면서 기업/기관에서 사용자에게 제공하는 서비스도 지속적으로 증가하고 있습니다. 특히 영화, 드라마 등 영상 매체 데이터는 앞으로도 꾸준히 발전할 전망이라고 하죠! 때문에 사용자의 취향에 맞춰 서비스를 제공하는 일은 굉장히 중요합니다. 추천 시스템은 이처럼 사용자가 선호할만한 컨텐츠를 추천해주는 방법들을 일컫는 말입니다. 유튜브나 넷플릭스 같은 영상 서비스 플랫폼에서는 이미 유저들에게 수 많은 서비스를 추천해주고 있습니다. 현재 상용화 되어 많이 사용되고 있는 대표적인 추천 시스템은 협업 필터링 입니다. 협업 필터링(Collaborative filtering) 같은 콘텐츠를 좋아하는 사람은 콘텐츠 취향이 비슷할 것이라는 가정에 기반한 .. 공감수 0 댓글수 0 2020. 5. 8.
[Individual] 영화 추천 시스템! #1 - 발단 때는 개강 전 2월... 저는 방에서 홀로 명작 영화인 '지금 만나러 갑니다'를 시청하고 있었습니다.. ... ... 울면서 봤습니다.. 이 영화 뿐만 아니라 '나는 내일 어제의 너와 만난다'도 엄청 재밌게 봤습니다. 근데 문제가 생겼어요..! 이 영화들이 너무 감동적이어서 다른 영화들도 보고싶은데! 비슷한 영화들을 찾을 수가 없는겁니다! 10년전에 제 입덕 작품이었던 토라도라를 시청했을 때 처럼 '와.. 이런 애니 또 없나?!' 하면서 찾아봤었던 추억이 생각나는 순간이었습니다. 근데 문제는 저렇게 검색을 통해 추천받아 시청했던 애니들은 대부분 썩 제 맘에 들지 않았다는 것.. 하지만 이제는 무대포로 추천받은 수 많은 작품들을 전부 시청하기에는 우리 모두 바쁜 일상을 살고 있기에! 이왕이면 자신의 취향에.. 공감수 1 댓글수 0 2020. 5. 8.
[Individual] Arah의 롤 전적 분석 일기 完 - 승률 예측 알고리즘 모델링 & 평점 알리미 챗봇 만들기 Arah의 롤 전적 분석 일기 마지막편 입니다!👏 전 편에서 탐색적 데이터 분석를 통해 여러가지 통계를 살펴보고, 시각화를 다뤄보았는데요 이번 편에서는 유의미한 변수들을 가지고 승률 예측 모델을 만들어 볼겁니다! 승률 예측 모델링 종속변수는 '승/패' 이진분류 이므로 로지스틱 회귀모델을 채택하고, 활성화 함수는 시그모이드 함수를 사용합니다! 분류가 잘 되는지 2차원 그래프로 확인을 해보고 다른 변수들도 올바르게 분류하고 있는지 확인 합니다 여러 변수들 중 위의 변수들을 사용했을때 정확도가 가장 높게 나왔습니다 자세한건 코드를 통해서 확인해주세요👨‍💻 Dialogflow를 이용한 평점 챗봇 만들기 플레이어 닉네임을 인식할 수 있는 intent를 생성하고 구글 서버가 호스트 서버로 가서 계산에 사용될 평점 .. 공감수 5 댓글수 8 2020. 1. 24.
[Individual] Arah의 롤 전적 분석 일기 #4 - 탐색적 데이터 분석 전 편에서 크롤링하고 다듬은 데이터를 가지고 본격적으로 제 플레이에 대한 통계를 살펴보도록 하겠습니다! Explore data 일단 승패별로 groupby를 이용해 보고싶은 변수들의 통계를 살펴봤어요 그리고 승패에 따른 스펠별 kda, 승률 count를 요약통계 한 결과입니다 고티어에서는 킬각을 잘 안내어 주니깐 텔레포트를 많이 사용 해봤는데 승률이 영 시원찮네요 말자하나 트페같은 애들 상대로도 텔포 말고 그냥 점화를 들어서 정글 싸움에서 우위를 가져가는 편이 좋을듯 해요 룬은 제가 체감하기에도 유성이 라인전 우위를 가져오기도 좋았고 감전보다 적중률이 좋았던 기억이 있어요 특정 맞딜이 불가피한 상대를 제외하고는 유성 점화가 좋은 것 같아요(콩콩이는 q컨디션 좋을때 아니면 안쓰는걸로🙅‍♂️) 상대 미드별 .. 공감수 1 댓글수 0 2020. 1. 24.
[Individual] Arah의 롤 전적 분석 일기 #3 - 데이터 수집 & 크롤링 처음에 fow와 opgg중 어느 사이트에서 크롤링을 할지 고민하다가 fow는 예전 기록을 많이 공개하지 않아서 고민없이 op.gg로 선택했습니다! 하지만 opgg도 5개월 전 까지의 데이터만 공개 해주는 것을 나중에 알게되고 눈물을 감추며 약 절반의 데이터밖에 수집하지 못했다는 슬픈 이야기..😥 아무튼 저의 수집 및 전처리 계획은 이러했답니다 1. Page unfolding & Crawling 2. Data processing 1. Page unfolding & Crawling OP.GG는 플레이어 검색 시 기본적으로 한 페이지에 20개의 전적을 보여주며 더 보기를 클릭할 때 마다 20개의 전적이 추가적으로 보여집니다 더 보기 쯤이야 20번 정도만 클릭 해줘도 400개의 데이터를 볼 수 있으니깐 할만한데.. 공감수 0 댓글수 4 2020. 1. 22.
[Individual] Arah의 롤 전적 분석 일기 #2 - 개요 진짜 아무리 생각해도 키아나 저거는 밴해야돼요. 다이아부터는 딜교도 잘 안 당해주지, 선 좀 넘으면 바로 플E로 붙어서 R-Q-평-W-평-Q-점화 후..🤦‍♂️ 신드라는 회피기도 없어서 E 빠지면 상대 정글서폿 갱와서 죽지, 그러면 또 우리팀한테 무수한 ? 핑 찍히지, 솔킬 한 번 더 당하면 우리 정글은 블루도 안주지, Arah의 전적분석 일기 2편입니다!!😀 사실 1편에서 언급했다시피, 18년도 까지만 해도 막 복학하고 전과했던 참이라 데이터 분석에 한없이 무지했어서 강의 진도 따라가는 것 만으로도 바빴던 것 같아요. 이제 막 익숙해지기 시작한 파이썬으로 수 많은 웹 데이터를 긁어와서 전처리를 하고 모델링을 한다? 당시 갓 데이터를 입문한 18년도의 저에게는 거의 꿈같은 일 이었어요. 그렇게 2학년 2.. 공감수 1 댓글수 0 2020. 1. 21.
[Individual] Arah의 롤 전적 분석 일기 #1 - 발단 때는 바야흐로 코찔찔이 게임쟁이 Lebi의 17살 시절.. 시즌1에 북미서버에서 롤을 처음 시작하고.. 시즌2에 랭크를 시작.. 시즌3에 수능공부.. 시즌4에 신드라를 인생 챔피언으로 플레이.. 시즌5에 마스터 달성.. 시즌6에 군대.. 시즌7,8에 취미로 플레이 하다가.. "진로도 데이터 분석으로 정했겠다, 오직 나만의 신드라로 전적분석을 해보자!" 라고 생각만 신나게 하던 2018년의 복학생 Lebi ╰(*°▽°*)╯ 2019년 3-1학기에 15학점을 신청해버려서 장학금(최소 16학점 이상)을 받을 기회를 놓쳐버리고만 Lebi는 학점을 등지고 앞으로 바빠지면 다시는 못해볼지도 모르는 시즌9 마스터를 목표로 하게되는데..! 오직 신드라만 플레이하는 Arah의 시즌9 신드라 전적분석 일기! 지금 시작합니.. 공감수 1 댓글수 0 2020. 1. 21.
[Deep Learning] 딥러닝의 역사 딥러닝의 역사를 이해하기 쉽게 시간순으로 정리해봤습니다! 본문의 자세한 개념들은 링크를 통해 살펴보실 수 있도록 하나씩 추가해나갈 예정이에요! 딥러닝의 시초 인공신경망 (1940~1950) 딥러닝의 역사는 1940년대 인공지능에서부터 시작되었습니다. 인간은 기계에게 지능을 부여하고자 했으며 인공지능 연구자들은 인간의 두뇌를 모방하여 정보를 처리하고자 하였습니다. 1943년 최초로 제안된 인공신경망(Artificial Neural Networks)은 인간의 뇌 신경세포 구조를 수학적으로 모델링하는 개념입니다. 인간의 뉴런구조 인간의 뉴런은 Dendrite(수상돌기)를 통해 여러 개의 시그널을 받습니다. Dendrite가 받은 여러 개의 시그널이 복합적으로 계산되어 Cell body에 전달되면 한 가지의 시.. 공감수 6 댓글수 2 2020. 1. 11.
[Team] 대지고등학교 전공소개 이번에 저희 학교의 각 과를 대표해서 대지고등학교 학생들에게 전공소개를 하는 시간을 갖게 되었습니다! 저는 데이터 사이언스학과를 학생들에게 보다 쉽고 흥미롭게 알리고 싶은 마음에 참가를 지원했고 같은 과의 멋진 동료들과 준비를 했어요!👨‍🏫 역시 과대표의 능수능란한 말솜씨는 대단했습니다👏 생각보다 학생들이 주의깊게 들어주고 질문도 많이 해줘서 너무 기뻤어요!! 선생님들의 노고를 경험할 수 있는 시간이였던 것 같습니다..👀 ▼전공소개 PPT(●'◡'●) 공감수 0 댓글수 0 2019. 9. 26.
[Individual] 농림축산식품부 공공데이터 공모전 R을 사용하여 처음으로 참여해본 공모전! 랜덤표본데이터를 이용한 개인적인 의사결정 추천 알고리즘 개발 경험이었네요😅 유의미한 경험이었던 것 같아요😁 ▼코드(●'◡'●) 공감수 0 댓글수 0 2019. 9. 9.
[Individual] 다양한 머신러닝 기법을 활용한 데이터 분석(R) R을 이용해서 수행했던 분석 과제 입니다! 확실히 R은 통계분석용 툴 답게 분석환경이 정말 편리한 것 같아요 처음에 익히는게 좀 힘들었는데 익숙해지고 나니깐 다양한 기법부터 튜닝까지 쇽쇽 ! ▼코드(●'◡'●) 공감수 0 댓글수 0 2019. 9. 8.
[Individual] 기상청 공공데이터 공모전 1992~2017년의 날씨데이터를 사용해서 참여했던 기상청 공모전! 데이터가 많아서 전처리하는 과정에서 시간이 엄청 들었어요😥 그래도 판다스로 데이터를 만질 때마다 전처리에 점점 익숙해지는 기분은 좋은 것 같아요😋 ▼코드(●'◡'●) 공감수 0 댓글수 0 2019. 9. 2.
[Team] 데분데분 네트워킹 참가! 때는 바야흐로 6월.. 작년까지 열심히 활동했던 데이터 분석 단톡방의 방장님과 오랜만에 반가운 대화를 나누던 중 굉장히 의미 있는 네트워킹을 진행하고 계시다는 소식을 접했어요! 저보고 무료로 와서 그냥 즐기고 가시라는 감동의 말씀에 제가 뭐 도와드릴 건 없는지 여쭙다가 당시 기말기간이었던지라 많은 도움은 못 드리지만 당일 보조스탭은 할 수 있을 것 같아서 도와드리기로 하였습니다! 데이터에 관심 있으신 분들이 많이 찾아오셔서 즐기시는 모습이 좋아서 일하는 내내 즐거웠던 것 같아요! 저도 앉아서 감상하고 싶었지만 저는 해야 할 일이 있었으니.. 그것은 쉬는 시간을 틈 탄 사은품 스탬프 퀴즈 진행!👨‍🏫🖐 모두가 풀 수 있는 문제를 파트너와 열심히 고민한 결과인지 다들 재밌게 잘 푸시더라구요 흐흐╰(*°▽°*.. 공감수 0 댓글수 0 2019. 7. 25.
[Individual] 2018년 개인 지출내역 분석 작년에 개인데이터 분석이라는 주제에 대한 과제를 했던게 떠올라서 오랜만에 구경하는데 지금 준비하는 공모전에도 참고가 될 것 같아서 재밌게 봤네용 혹시 비슷한 프로젝트를 하시는 분이 계시다면 참고해보시면 어떨까요! 작년에 막 공부 시작할때 배웠던 내용이라 허술한 점을 감안해서 봐주시길.. 공감수 0 댓글수 0 2019. 6. 9.
[Individual] Erwin을 이용한 회사 데이터베이스 모델링 DAP 예제를 Erwin을 이용해서 논리적/물리적 모델링을 해보았어요😃 물리적 모델링 테스트 ▼모델링 파일과 코드입니다(❁´◡`❁) https://m.blog.naver.com/PostView.nhn?blogId=oracledo&logNo=220493671418&proxyReferer=https:%2F%2Fwww.google.com%2F [DAP 모델링 실습]육류가공식품업체 우리 회사는 육류가공식품을 생산하는 업체로 육류가공을 위한 제법 큰 규모의 공장을 운영하고 있다.우리... blog.naver.com 공감수 0 댓글수 0 2019. 5. 19.
[Machine Learning] 선형 회귀와 경사하강법 선형회귀(linear regression)는 지도학습 중 관찰된 데이터들을 기반으로 하나의 함수를 구해서 관찰되지 않은 데이터의 값을 예측하는 분석방법입니다. 선형 회귀분석은 설명변수와 반응변수가 연속형 변수일 때 사용합니다. 그래프의 데이터들을 대표하는 가장 적절한 기울기와 절편을 가진 회귀선을 찾는 것이 선형 회귀의 목적입니다. 이때 최적의 회귀선을 찾는 기준은 각 데이터 포인트에서 함수까지의 거리를 제곱한 값을 평균 낸 값인 평균 제곱 오차(MSE, mean squareed error)를 최소로 만드는 것입니다. 두 회귀선을 기준으로 MSE를 비교했을 때, 더 작은 크기를 나타내는 왼쪽의 회귀선이 더 적절한 회귀선이 되겠죠? 목적 함수는 보통 어떤 함수의 최댓값 또는 최솟값을 구하는 함수인데, 회귀.. 공감수 2 댓글수 0 2019. 4. 14.
[Machine Learning] K-최근접 이웃(KNN) 알고리즘 k-최근접 이웃(k Nearest Neighbors, kNN)알고리즘은 데이터 분류에 사용되는 간단한 지도학습 알고리즘 이에요. 이 알고리즘은 현재 데이터를 특정값으로 분류하기 위해 기존의 데이터 안에서 현재 데이터로부터 가까운 k개의 데이터를 찾아 k개의 레이블 중 가장 많이 분류된 값으로 현재의 데이터를 분류합니다! 위의 그림을 kNN알고리즘 관점으로 본다면 ★이라는 테스트 데이터는 좌표상에서 자기 위치로부터 가까운 3개의 기존 데이터들(●,♥)을 찾아 과반수의 레이블(●)로 자신을 분류했습니다. k는 짝수로 지정할 경우, 2n:2n의 상황이 발생해 분류하기 애매해 질 수 있으므로, k는 홀수로 지정해주는게 관습입니다! 장점 kNN 알고리즘은 다른 머신러닝 알고리즘보다 이해하기가 상당히 쉽습니다. 다.. 공감수 1 댓글수 0 2019. 4. 4.
[Machine Learning] 서포트 벡터 머신 - SVM 서포트 벡터 머신(SVM)은 머신러닝의 분류기법 중 하나로 분류 문제 외에 회귀에도 적용이 가능하며 정확도 측면에서 우수한 결과를 가져온다는 이유로 분류기법 중에서도 최상의 기법으로 알려져 있습니다 ! 하지만 의사결정나무처럼 직관적인 해석은 불가능 하기 때문에 이해하는데 어렵다는 단점 또한 가지고 있어요. 그래서 보통 결과해석에는 의사결정나무가 자주 쓰이지만, 높은 정확도를 위해서는 SVM을 주로 사용한다고 합니다. 용어 먼저 알아보고 장단점으로 글을 마무리 하겠습니다! 01 초평면 곡선이 아닌 직선이나 평면으로 데이터를 구별하는 방법을 최대 마진 분류기라고 하고, 최대 마진 분류기가 경계로 사용하는 선이나 면을 초평면(Hyperplane)이라고 합니다. 데이터의 차원에 따라 초평면 차원도 달라집니다. .. 공감수 1 댓글수 0 2019. 4. 3.
[Machine Learning] 혼동행렬 혼동행렬(confusion matrix)은 모델의 성능을 평가할 때 사용되는 지표입니다. 처음에 이해하기가 좀 헷갈렸는데 굉장히 이해가 잘되는 자료를 보고 정리해봤어요! 먼저 모델의 성능을 평가하기 위해 혼동행렬과 함께 필요한 네 가지 개념이 있습니다. TP(True Positive) - 맞는 것을 올바르게 맞다고 예측한 것 TN(True Negative) - 아닌 것을 올바르게 틀리다고 예측한 것 FP(False Positive) - 아닌 것을 올바르지 않게 맞다고 예측한 것 FN(False Negative) - 맞는 것을 올바르지 않게 틀리다고 예측한 것 이건 ADSP공부할 때 나왔던 개념인데 솔직히 이해도 제대로 못하고 무작정 외웠었어요! 이해를 돕기 위해 '질병이 있는 사람(맞는 것)'과 '질병이.. 공감수 4 댓글수 0 2019. 3. 29.
[Machine Learning] 과대적합과 과소적합 과대적합(Overfitting) 필요 이상의 특징을 발견하여 학습 데이터에선 높은 정확도를 보이지만 테스트 데이터나 새로운 데이터에는 정확도가 낮게 나오는 경우를 과대적합이라고 해요. 공을 분류해내는 머신러닝 모델을 간단한 예로 들어볼게요. 사물 분류값 생김새 크기 줄무늬 야구공 공 원형 중간 있음 농구공 공 원형 큼 있음 테니스공 공 원형 중간 있음 딸기 과일 세모 중간 없음 포도알 과일 원형 작음 없음 위의 학습데이터를 기준으로, 모델에게 '생김새가 원형이고 크기가 작지 않으며, 줄무늬가 있으면 공이야!' 라고 학습을 시킨다면. 학습데이터만 두고 본다면 이 모델은 정확하게 '야구공,농구공,테니스공!'이라고 대답하겠지만, 이 모델에게 아래 데이터를 보여주고 똑같이 질문한다면 사물 분류값 생김새 크기 줄.. 공감수 1 댓글수 0 2019. 3. 28.
[Individual] 매장 직원 근무일지 출근했는데 점장님이 뭔가를 열심히 하고 계시길래 뭔가 봤더니 직원들 급여계산을 하고계셨어요. 처음 가게를 운영하셨고 아르바이트생을 쓰신지도 얼마 안되셔서 그런지 여태까지 계산기로 월급을 계산하셨다네요. 저한테 혹시 직원들 근무일지를 보기 편하게 만들어 볼 수 있냐고 말씀하셔서 작년에 사무보조 아르바이트할 때 제 개인적인 급여계산을 하기 위해 만들었던 엑셀 파일을 떠올렸어요. 그 파일을 조금 손봐서 타블도트만의 근무일지를 만들어 봤습니다! 이제 직원들도 일지를 쓰기 쉽고, 계산하기도 편리하실 것 같다고 좋아하셔서 뿌듯했습니다! 보잘 것 없지만 필요하신 분들은 가져다 쓰시면 될 것 같아요! 날짜 쪽에는 수식을 걸어놔서 첫 번째 셀에 0000-00-00만 입력하시면 일도 자동으로 색깔과 함께 바뀔 거에요 시급.. 공감수 0 댓글수 0 2019. 3. 28.
[Machine Learning] 지도학습과 비지도학습 지도학습 지도학습(supervised learning)은 레이블(정답)을 알려주면서 진행되는 학습입니다. 때문에 학습 시 데이터와 함께 레이블(정답)이 항상 제공되어야 해요! 지도학습은 테스트할 때 데이터와 함께 레이블을 제공하므로 손쉽게 모델의 성능을 평가할 수 있다는 장점이 있습니다. 하지만 데이터마다 레이블을 달기 위해 많은 시간이 투자돼야 한다는 단점 또한 있어요! 지도학습의 대표적인 예는 분류와 회귀가 있습니다. 분류는 범주형 데이터, 즉 분리된 값을 예측하고 회귀는 연속형 데이터, 연속된 값으로 예측합니다. 이 둘을 날씨로 예를 들면, 분류) 내일은 날씨가 추울 것이다. 회귀) 내일은 온도가 35.0℃일 것이다. 지도학습의 기법들 선형 회귀(Linear Regression) 로지스틱 회귀(Lo.. 공감수 5 댓글수 0 2019. 3. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.