Hippo's data

"한빛미디어 서평단  활동을 위해서 책을 협찬 받아 작성된 서평입니다." 오늘은 한빛미디어에서 발간한 '파이썬으로 웹 크롤러 만들기(3판)' 책 서평을 작성해보겠습니다!! # 웹 크롤링(crawling)? 웹 스크래핑(Scraping)? 웹 크롤링(crawling), 웹 스크래핑(Scraping) 두 용어 모두 웹 상에서 데이터를 수집하는 것을 의미하는데요의미적으로는 약간의 차이를 보입니다 웹 크롤링(crawling)은 더 넓은 범위에서 대량의 데이터를 수집하는 것을 의미하며웹 스크래핑(Scraping)은 좁은 법위에서 특정한 데이터를 좀 더 정확하고 구조화된 형식으로 수집하는 것을 의미합니다 # 웹 스크래핑(Scraping)이 중요한 이유?데이터 분석, 모델링 작업시에는 요리할 재료 즉, 학습 or 분..

오늘은 RAG(Retrieval-Augmented Generation)에 대해 간단히 알아보겠습니다!!최근에 "나는 데이터로 축구한다(LLM과 RAG 기술 활용편)"을 주제로 한동대학교 축구 빅데이터캠프에 갔다왔는데욥RAG가 뭔지, 왜 핫한지 알아보고 해커톤을 통해 RAG를 이용하여 간단한 서비스도 구현해보았습니다 RAG는 간단하게 말해서 chat gpt와 같은 LLM(Large Language Models)의 이슈를 해결하기 위한 방법으로 핫하게 등장한 기술인데요 그렇다면 chat gpt와 같은 LLM(Large Language Models)에는 어떤 문제점들이 있는지 알아봅시다! # LLM 문제점1. Hallucination 할루시네이션(환각증상)-> 실제로 존재하지 않는 정보를 사실인것 처럼 제시하..