분류 전체보기36 [데이터분석] 웹 크롤링 파이썬 BeautifulSoup 사용법 크롤링, 웹 스크레이핑을 하려면 BeautifulSoup로 html을 파이썬 객체로 parse를 해줘야 합니다. html xml 파일은 str 형태이기 때문에 ajax 할 때 responsetext로 가져온 것처럼 말이죠! 오늘은 단계별로 나눠서 BeautifulSoup와 requests 파이썬 라이브러리를 활용하여 크롤링을 어떻게 해야 하는지 알아보겠습니다. 일반적인 텍스트 크롤링 방법 : text scraping 시작 전: BeautifulSoup, requests 설치 CLI 창에 $ pip install beautifulsoup4 $ pip install requests BeautifulSoup 란? HTML, XML 파일로부터 원하는 데이터를 가져오기 쉽게, 비슷한 분류의 데이터별로 나누어주는(.. 2023. 6. 28. [Javascript] innerHTML, innerText, textContent 차이점 예제 포함 innerHTML vs innerText vs textContent Javascript에서 Node 또는 Element의 텍스트값을 읽어오거나 설정할 때 innerHTML, innerText, textContent 속성을 사용하게 됩니다. 그런데 여기서 문제는, 어떤 상황에서 어떤 것을 사용하느냐입니다. 왜냐하면 각각이 가져오거나 수정하는 내용에는 차이가 있기 때문입니다. 헷갈리지만 가장 기본적인 내용 중 하나이니 예제로 알아보겠습니다! html body 부분이 아래와 같이 적혀 있다고 했을 때 세 가지를 통해 각각 어떤 값이 가져와지는지 보겠습니다. Hello World innerHTML innerHTML 속성은 'Element'의 속성으로, Element 내부에 있는 HTML 또는 XML 마크업 내용.. 2023. 6. 26. [Python] 웹개발 Django 프로젝트 시작하기 코드 포함 오늘은 간결한 노트 형식으로 django 파이썬 웹프로그래밍 개념을 짚어 보고자 합니다. MVC 디자인 패턴, 장고 프로젝트 초기 설정, 시작 방법, 앱 만드는 방법, HTML 파일 내부에 django variable과 태그를 입력하는 방법까지 정리해 보았습니다! MVC 디자인 패턴 MVC(Model, View, Controller) 패턴은 오랜 기간 개발자들에 의해 굳혀진 웹 개발 방법론 중 하나인데요. MVC 패턴은 소프트웨어 개발을 할 때 사용자에게 보이는 로직과 내부적으로 실행되는 비즈니스 로직을 나눠서 서로에게 영향이 없도록 개발할 수 있고, 유지 보수할 수 있는 장점이 있습니다. 장고에서의 MVC 패턴: models.py = Model 역할 views.py = Controller 역할 (화면 .. 2023. 6. 25. [Django] 파이썬 웹 개발 기초 개념, 장고 프로그래밍 Django Django makes it easier to build better web apps more quickly and with less code. 그래서 장고가 뭔데?라는 의문이 머릿속에 맴돌았는데, django 활용해서 파이썬 웹 개발 과제를 3번 반복해서 해보니 이제야 조금 알 것 같습니다. 다른 과목도 마찬가지겠지만, 장고에서는 특별히 가장 중요한 것이 기초 개념인 것 같아요! 그래서 오늘은 장고를 처음 공부해 본 제 입장에서 봤을 때 과거의 저에게 조언을 해준다면 이건 필독하고 시작하라고 조언질 해주고 싶은 내용들로 채워보았습니다. 내용은 다음과 같은 흐름이니 참고해주세요 :) 1. 기본 of 기본 : 개발 상식, a) 프레임워크와 라이브러리의 차이 b) 파일 이동 방법 2. Djang.. 2023. 6. 24. Javascript AJAX 예제, 비동기 데이터 불러오기 (전기자동차 데이터 분석 예제) 이번 예제에서는 자바스크립트 AJAX 예제를 통해 비동기 통신을 활용하기 위한 코드를 알아보겠습니다. 미국 워싱턴 주의 전기차 등록 현황에 대한 데이터 셋 'eleclist.xml'을 다운로드해서 예제에 사용하였습니다! 필요하시면 댓글로 말씀 주세요. (xml 파일 출처 : data.gov) 간단하게 비동기 통신에 대한 개념은 이전 포스트를 참고해 주세요 : Javascript: 비전공자도 쉽게 이해하는 AJAX 개념 정리 AJAX ajax : Asynchronous Javascript and Xml ajax를 사용하면 서버에 요청한 후, 페이지를 다시 로딩하지 않고 일부를 업데이트할 수 있습니다. 비동기 요청으로 새로고침(페이지 로딩)이 다시 되지 않았다 joy-home.tistory.com 그럼 오늘.. 2023. 6. 21. [Python 공부] Threading, GIL, Futures 모듈, ThreadPoolExecutor 오늘은 조금 복잡한 파이썬 동시성 관리라는 개념에 대해 배웠습니다. 그래서 오늘 포스트는 순서가 조금 뒤죽박죽일 수도? '프로세스'와 '스레드'라는 개념에 대한 이해부터 Python GIL(Global Interpreter Lock), Coroutine, 유용한 모듈 (Futures, Asyncio)까지 방대한 내용인데 최대한 정리해 보도록 하겠습니다. 목차 스레드 스레드 생성 및 실행 방법 join 함수 GIL Coroutine 스레드 Thread 파이썬 코드는 실행했을 때 위에서 아래로 순차적으로 실행됩니다. 조건문이나 반복문 등으로 실행 순서가 바뀔 수는 있지만 기본적으로는 순차적으로 진행되는 것을 알 수 있죠. 하지만 하나의 작업이 오래 걸리는 것이라면 그것을 백그라운드에서 실행해두고 결과가 나오.. 2023. 6. 20. 이전 1 2 3 4 5 6 다음
