Hippo's data

Paper: AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE (Alexey Dosovitskiy et al.)Conference: ICLR 2021GitHub Repository: https://github.com/google-research/vision_transformerArXiv: https://arxiv.org/abs/2010.11929 GitHub - google-research/vision_transformerContribute to google-research/vision_transformer development by creating an account on GitHub.github.com An Imag..

TimeXerPaper: TIMEXER: EMPOWERING TRANSFORMERS FOR TIME SERIES FORECASTING WITH EXOGENOUS VARIABLES(Yuxuan Wang, Haixu Wu, Jiaxiang Dong, Guo Qin, Haoran Zhang, Yong Liu, Yunzhong Qiu, Jianmin Wang, Mingsheng Long)Conference: NeurIPS 2024GitHub Repository: https://github.com/thuml/TimeXerArXiv: https://arxiv.org/abs/2402.19072 GitHub - thuml/TimeXer: Official implementation for "TimeXer: Empower..

오늘날까지도 TSF(Time-series Forecasting)에서 압도적인 성능을 보여주고 있는 TimesNet에 대해 알아보도록 하겠습니다!특히 시계열 데이터를 1D Vision Task로 치환해서 시계열 예측에 도입했던 TCN 모델과 유사하게 TimesNet는 2D Vision Task로 치환해서 시계열 예측에 도입한 모델입니다!간단한 논문리뷰와 예제 데이터를 통한 실습까지 진행해보도록 하겠습니다! Paper: TIMESNET: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS(Haixu Wu, Tengge Hu, Yongliu Liu, Hang Zhou, Jianmin Wang, Mingsheng Long)Conference: IC..

트랜스포머 구조에서 오늘날 거의 표준으로 사용되는 Pre-LN(Pre-Layer Normalization) 구조에 관한 논문을 리뷰해보도록 하겠습니다! Paper: On Layer Normalization in the Transformer Architecture(Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, Tie-Yan Liu)Conference: ICML 2020ArXiv: https://arxiv.org/abs/2002.04745 On Layer Normalization in the Transformer ArchitectureThe Transfor..

오늘은 iTransformer 모델이 제안된 논문을 리뷰해보도록 하겠습니다! 기존 시계열 예측(TSF) Transformer 기반 모델의 대다수 방식이었던 기존 시간축 단위 토큰화에서 변수축 단위로 토큰화해서 어텐션 계산을 시도한 논문입니다!ITRANSFORMERPaper: ITRANSFORMER: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING (Yongliu Liu, Tengge Hu, Haixu Zhang, Haoran Wu, Shiyu Wang, Maobing Ma, Jianmin Wang, Mingsheng Long)Conference: ICLR 2024GitHub Repository: https://github.com/thuml..

시계열(TS, Time Series) 논문을 읽다 보면, 의미가 헷갈리는 용어들이 있습니다!오늘은 시계열 논문에서 자주 등장하지만, 매번 헷갈려서 검색해보는 단어들의 의미를 명확히 알아보겠습니다! 1. Endogenous vs Exogenous 2. Variable vs Variate vs Variation vs Variance1. Endogenous vs Exogenous (1) Endogenous Variable (내생변수)어원: Endo(내부) + Genous(생성) 의미: 모델 내부의 상호작용에 의해 값이 결정되는 변수. 즉, 우리가 예측하고자 하는 대상 (Target)예시 (비트코인 예측): 과거 비트코인 가격 변수 (2) Exogenous Variable (외생변수) 어원: Exo(외부) +..

오늘은 PatchTST 모델이 제안된 논문을 리뷰해보도록 하겠습니다!저번 리뷰에서 단순한 선형구조를 제안하여, “Transformer는 LTSF(Long term time-series Forecast)에 별로다” 라고 주장했던 Dlinear 관련 논문을 리뷰했었는데욥이번에는 다시 " Transformer도 제대로 쓰면 선형 모델보다 훨씬 좋다" 라는 주장으로 해당 내용을 반박한 논문입니다! Paper: A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS (Yuqi Nie, Nam H. Nguyen, Phanwadee Sinthong, Jayant Kalagnanam)Conference: ICLR 2023GitHub Repo..

오늘은 생성형 AI(Generative AI) 분야 고전명작 GAN이 제안된 논문에 대해 리뷰해보도록 하겠습니다! Paper: Generative Adversarial Nets (Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio)Conference: NIPS 2014 (Neural Information Processing Systems)GitHub Repository: https://github.com/goodfeli/adversarialArXiv: https://arxiv.org/abs/1406.2661 GitHub - good..