Hippo's data

오늘은 iTransformer 모델이 제안된 논문을 리뷰해보도록 하겠습니다! 기존 시계열 예측(TSF) Transformer 기반 모델의 대다수 방식이었던 기존 시간축 단위 토큰화에서 변수축 단위로 토큰화해서 어텐션 계산을 시도한 논문입니다!ITRANSFORMERPaper: ITRANSFORMER: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING (Yongliu Liu, Tengge Hu, Haixu Zhang, Haoran Wu, Shiyu Wang, Maobing Ma, Jianmin Wang, Mingsheng Long)Conference: ICLR 2024GitHub Repository: https://github.com/thuml..

시계열(TS, Time Series) 논문을 읽다 보면, 의미가 헷갈리는 용어들이 있습니다!오늘은 시계열 논문에서 자주 등장하지만, 매번 헷갈려서 검색해보는 단어들의 의미를 명확히 알아보겠습니다! 1. Endogenous vs Exogenous 2. Variable vs Variate vs Variation vs Variance1. Endogenous vs Exogenous (1) Endogenous Variable (내생변수)어원: Endo(내부) + Genous(생성) 의미: 모델 내부의 상호작용에 의해 값이 결정되는 변수. 즉, 우리가 예측하고자 하는 대상 (Target)예시 (비트코인 예측): 과거 비트코인 가격 변수 (2) Exogenous Variable (외생변수) 어원: Exo(외부) +..

오늘은 PatchTST 모델이 제안된 논문을 리뷰해보도록 하겠습니다!저번 리뷰에서 단순한 선형구조를 제안하여, “Transformer는 LTSF(Long term time-series Forecast)에 별로다” 라고 주장했던 Dlinear 관련 논문을 리뷰했었는데욥이번에는 다시 " Transformer도 제대로 쓰면 선형 모델보다 훨씬 좋다" 라는 주장으로 해당 내용을 반박한 논문입니다! Paper: A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS (Yuqi Nie, Nam H. Nguyen, Phanwadee Sinthong, Jayant Kalagnanam)Conference: ICLR 2023GitHub Repo..

오늘은 생성형 AI(Generative AI) 분야 고전명작 GAN이 제안된 논문에 대해 리뷰해보도록 하겠습니다! Paper: Generative Adversarial Nets (Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio)Conference: NIPS 2014 (Neural Information Processing Systems)GitHub Repository: https://github.com/goodfeli/adversarialArXiv: https://arxiv.org/abs/1406.2661 GitHub - good..

오늘은 DLinear 모델이 제안된 논문을 리뷰해보도록 하겠습니다!LTSF(Long term time-series Forecast) 분야에 굵직한 임팩트를 남겼던 논문인데욥Transformer구조가 시계열 예측 분야에서 우세했던 상황에서 “ Transformer는 LTSF에 별로다” 라며 주장했던 논문입니다! Paper: Are Transformers Effective for Time Series Forecasting? (Ailing Zeng, Muxi Chen, Lei Zhang, Qiang Xu)Conference: AAAI 2023GitHub Repository: https://github.com/cure-lab/LTSF-LinearArXiv: https://arxiv.org/abs/2205.13..

오늘은 2017년 2월에 메타(구 페이스북)에서 발표한 프로펫(Prophet) 모델에 대해 톺아보겠습니다!해당 모델은 발표된지 꽤나 오래된 모델임에도 불구하고 시계열 예측 분야에서 아직까지도 많이 선호되는 모델인데요!!왜 그런지 구체적으로 톺아보도록 하겠습니다!최종적으로 BTC(비트코인) 데이터를 이용해서 간단히 실습해보도록 하겠습니다!# Reference Paper: Forecasting at Scale (https://peerj.com/preprints/3190.pdf)공식 Doc: https://facebook.github.io/prophet/docs/quick_start.html Quick StartProphet is a forecasting procedure implemented in R and..

"길벗 출판사에서 책을 협찬 받아 작성된 서평입니다."오늘 리뷰해볼 책은 길벗에서 출판한 '밑바닥부터 만들면서 배우는 LLM' 입니다!좋은 기회로 길벗 출판사로부터 해당 서적을 리뷰할 기회를 얻게 되었는데욥 리뷰 시작하겠습니다! 2022년 말에 GPT 3.5를 기반으로 공개된 Chat GPT 엄청난 혁신을 불러오면서, 오늘날까지 LLM에 대한 관심이 끊기지 않고 있는데욥 특히, 최근에는 구글에서 자체 TPU를 기반으로 학습한 제미나이 3.0이 등장하면서, LLM은 아직까지도 뜨거운 분야로 주목받고 있습니다! 이제는 검색을 할 때, 구글이나 네이버 검색창을 키는 것이 아니라 GPT 챗봇을 키는데욥... 특히 과제를 하거나 코드를 짜야할 때 이러한 LLM 활용은 선택이 아닌 필수가 되어버린 것 같습니다,,..

오늘 가져온 논문은 시계열 분야 특히 시계열 예측(TSF) 분야를 전반적으로 톺아볼 수 있는 서베이 논문입니다!해당 논문은 리뷰중심 저널 AIR(Artificial Intelligence Review)에 개재되었습니다! 1. Introduction2. Background3. Historical TSF Models4. New Exploration of TSF Models5. TSF Latest Open Challenges & Handling Methods 목차는 다음과 같은데욥시계열(TS)분야 기본적인 배경 지식 부터 시계열 예측(TSF) 분야 모델 발전과정, 최신 연구에서 다루는 주제까지 시계열예측분야(TSF)를 전반적으로 살펴볼 수 있습니다 1. IntroductionTime-Series 분야는 다양한..