빅데이터 분석2 ch06 파이썬 크롤링 정적 웹 페이지 크롤링 • API를 제공하지 않는 웹 페이지를 크롤링할 수 있다. • BeautifulSoup 라이브러리로 정적 웹 페이지를 크롤링할 수 있다. • Selenium 라이브러리로 동적 웹 페이지를 크롤링할 수 있다. conda 환경에서 파이참 실행 가상환경 들어가기 근데 pandas 없음 -> 설치1-58페이지까지 받을 수 있다아래에 csv 파일이 만들어짐 from bs4 import BeautifulSoupimport urllib.requestimport pandas as pdimport datetimefrom selenium import webdriverimport time#[CODE 1]def CoffeeBean_store(result): CoffeeBean_URL = .. 2024. 8. 26. 03 데이터 과학 기반의 빅데이터 분석 빅데이터 산업의 이해- 빅데이터 플랫폼- 빅데이터 에코시스템- 빅데이터 서비스 프레임워크 빅데이터 플랫폼 - 데이터 플랫폼의 발전 데이터 웨어하우스(DW) - 빅데이터 플랫폼의 개념– 빅데이터를 처리하는 것 – 대량의 데이터를 저장 및 분석, 처리할 수 있는 대용량의 고속 저장 공간과 고성능 계산 능력의 컴퓨팅 인프라를 보유 – 실시간으로 발생하는 빅데이터를 처리 및 분석하여 일관성을 유지하는 데이터 분석도 필요 – 빅 데이터에서 발생하는 개인 정보를 위한 정보 보안 관리체계 지원도 필요 – 빅데이터 플랫폼은 오픈 소스인 하둡을 근간으로 많이 사용 빅데이터 서비스 프레임워크 – 빅데이터 서비스 프레임워크는 빅데이터 시장을 효율적으로 이해하기 위한 것 – 에코시스템(생태계) 안에서 서비스 공급자를 .. 2024. 8. 14. 이전 1 다음
