Python12 머신러닝 평가 지표 (Machine Learning Metrics ) 평가 지표 Metrics 머신러닝의 '지도 학습'에서는 test set으로 '정답'이 주어지기 때문에, 모델이 잘 학습되고 있는지를 알기 위해 실제값과 예측된 값을 비교하여 두 값 사이의 오차를 구할 수 있다. 즉, (실제값-예측값) = 0이 되면 오차가 없는 것이므로 모델이 값을 100% 잘 맞췄다고 생각할 수 있다. 하지만 이렇게 100% 일치하는 것은 현실적으로 어렵다. 그래서 어느 정도까지 오차를 허용할지 결정해야 한다. 모델 성능 평가를 해야 하는 이유는? 과적합을 방지하고 최적의 모델을 찾기 위해서 실행한다. 평가 지표 종류 예측 모델 평가 지표: mse, mae, r2_score 분류 모델 평가 지표: f1, confusion matrix, roc_auc(tpr, fpr), accuracy,.. 2023. 8. 31. 머신러닝 임계값 Threshold, ROC, AUC Tradeoffs : Recall vs Precision high precision & high recall 가지는 것은 수학적으로 불가능해서 둘을 조화롭게 밸런스 하는 것인 F1 score 사용할 수 있음 정밀도와 재현율을 조정하면 트레이드 오프가 있다. 한 쪽을 강제로 높이면 다른 쪽은 떨어지기 쉬움 F1 Score: 정밀도와 재현율을 결합한 지표, 어느 한쪽으로 치우치지 않는 수치를 나타낼때 상대적으로 높은 값을 가짐. F1 = 2 * (precision * recall/precision + recall) 임계값 Threshold : 0~1 = 0 or 1 으로 분류할 때의 커트라인/기준점 임계값 = 1일 때 FPR=0, TPR=0 threshold INC -> precision inc(FP dec.. 2023. 8. 9. [Python] 반응형 웹사이트 크롤링 예제 (웹툰, 쇼핑몰) 비동기 통신으로 설계된 페이지 크롤링 (웹툰, 쇼핑몰) 요즘은 반응형(responsive) 웹사이트가 많아지고, 다수의 상품이 진열되는 쇼핑몰 사이트의 경우, 특히 모바일의 경우 페이지 구조를 빠르게 로딩한 후 콘텐츠(상품 이미지 등)를 비동기식으로 채워 넣는 경우가 많습니다. Selenium이란? 셀레니움 = 반복 작업을 자동화하는 툴입니다. 사람이 일반적으로 웹 브라우저를 이용하여 할 수 있는 행동들을 코드로 작성하면 selenium이 이 코드를 웹 브라우저에 전달하여 실행시킵니다. 참고 : Selenium official docs : https://www.selenium.dev/documentation/ https://github.com/SeleniumHQ/seleniumhq.github.io/tr.. 2023. 6. 29. [데이터분석] 웹 크롤링 파이썬 BeautifulSoup 사용법 크롤링, 웹 스크레이핑을 하려면 BeautifulSoup로 html을 파이썬 객체로 parse를 해줘야 합니다. html xml 파일은 str 형태이기 때문에 ajax 할 때 responsetext로 가져온 것처럼 말이죠! 오늘은 단계별로 나눠서 BeautifulSoup와 requests 파이썬 라이브러리를 활용하여 크롤링을 어떻게 해야 하는지 알아보겠습니다. 일반적인 텍스트 크롤링 방법 : text scraping 시작 전: BeautifulSoup, requests 설치 CLI 창에 $ pip install beautifulsoup4 $ pip install requests BeautifulSoup 란? HTML, XML 파일로부터 원하는 데이터를 가져오기 쉽게, 비슷한 분류의 데이터별로 나누어주는(.. 2023. 6. 28. [Python] 웹개발 Django 프로젝트 시작하기 코드 포함 오늘은 간결한 노트 형식으로 django 파이썬 웹프로그래밍 개념을 짚어 보고자 합니다. MVC 디자인 패턴, 장고 프로젝트 초기 설정, 시작 방법, 앱 만드는 방법, HTML 파일 내부에 django variable과 태그를 입력하는 방법까지 정리해 보았습니다! MVC 디자인 패턴 MVC(Model, View, Controller) 패턴은 오랜 기간 개발자들에 의해 굳혀진 웹 개발 방법론 중 하나인데요. MVC 패턴은 소프트웨어 개발을 할 때 사용자에게 보이는 로직과 내부적으로 실행되는 비즈니스 로직을 나눠서 서로에게 영향이 없도록 개발할 수 있고, 유지 보수할 수 있는 장점이 있습니다. 장고에서의 MVC 패턴: models.py = Model 역할 views.py = Controller 역할 (화면 .. 2023. 6. 25. [Python 공부] Threading, GIL, Futures 모듈, ThreadPoolExecutor 오늘은 조금 복잡한 파이썬 동시성 관리라는 개념에 대해 배웠습니다. 그래서 오늘 포스트는 순서가 조금 뒤죽박죽일 수도? '프로세스'와 '스레드'라는 개념에 대한 이해부터 Python GIL(Global Interpreter Lock), Coroutine, 유용한 모듈 (Futures, Asyncio)까지 방대한 내용인데 최대한 정리해 보도록 하겠습니다. 목차 스레드 스레드 생성 및 실행 방법 join 함수 GIL Coroutine 스레드 Thread 파이썬 코드는 실행했을 때 위에서 아래로 순차적으로 실행됩니다. 조건문이나 반복문 등으로 실행 순서가 바뀔 수는 있지만 기본적으로는 순차적으로 진행되는 것을 알 수 있죠. 하지만 하나의 작업이 오래 걸리는 것이라면 그것을 백그라운드에서 실행해두고 결과가 나오.. 2023. 6. 20. 이전 1 2 다음
