Hippo's data

Paper: CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation (Yusuke Tashiro et al.)Conference: NeurIPS 2021GitHub Repository:https://github.com/ermongroup/CSDI GitHub - ermongroup/CSDI: Codes for "CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation"Codes for "CSDI: Conditional Score-based Diffusion Models for Probabilistic Ti..

요즘 XAI가 AI 연구 분야에서 매우 핫한데욥 XAI (Explainable AI) 는 말 그대로 설명가능한 인공지능 입니다!다양한 인공지능 모델들은 복잡한 내부 연산과정으로 인해 블랙박스(Black Box)의 성질을 보이는데요이러한 인공지능 모델이 왜 그렇게 판단을 했는지를 설명하고자 하는 분야라고 할 수 있습니다! 특히 현업에서는 아무리 좋은 예측력을 보이더라도 왜 그렇게 판단했는지에 대한 설명력이 없으면 무용지물이도라구욥,,,, 그래서! 이제부터 랩실에서 진행한 XAI 스터디 내용들을 포스팅하도록 하겠습니다! 해당 스터디는 Christoph Molnar의 'Interpretable Machine Learning' 교재를 바탕으로 진행되었습니다https://christophm.github.io/i..

딥러닝 모델을 학습할 때, 학습 단위 용어가 항상 헷갈린다.... 뭔가 단어도 비슷비슷하다... 그래서 각각의 학습단위 용어들에 대해 간략하게 정리해보았따! (헷갈릴때마다 봐야겠담) 딥러닝 모델을 학습시킬 때 데이터를 어떻게 쪼개고 넣느냐에 따라 부르는 명칭이 다르다전체 데이터가 1000개인 상황을 가정하고 각 용어의 의미를 확인해보자! 학습단위 용어1. 풀 배치 (Full Batch) 개념: 나누는 과정 없이 전체 데이터셋을 한 번에 모두 모델에 넣어 학습예시: 1000개의 데이터를 하나로 묶어 통째로 학습2. 미니 배치 (Mini Batch) = 배치 batch 개념: 전체 데이터셋을 여러 개의 작은 묶음으로 분할 (컴퓨터 메모리 한계 등) 예시: 전체 1000개의 데이터를 10개의 묶음으로 분할..

Paper: AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE (Alexey Dosovitskiy et al.)Conference: ICLR 2021GitHub Repository: https://github.com/google-research/vision_transformerArXiv: https://arxiv.org/abs/2010.11929 GitHub - google-research/vision_transformerContribute to google-research/vision_transformer development by creating an account on GitHub.github.com An Imag..

TimeXerPaper: TIMEXER: EMPOWERING TRANSFORMERS FOR TIME SERIES FORECASTING WITH EXOGENOUS VARIABLES(Yuxuan Wang, Haixu Wu, Jiaxiang Dong, Guo Qin, Haoran Zhang, Yong Liu, Yunzhong Qiu, Jianmin Wang, Mingsheng Long)Conference: NeurIPS 2024GitHub Repository: https://github.com/thuml/TimeXerArXiv: https://arxiv.org/abs/2402.19072 GitHub - thuml/TimeXer: Official implementation for "TimeXer: Empower..

오늘날까지도 TSF(Time-series Forecasting)에서 압도적인 성능을 보여주고 있는 TimesNet에 대해 알아보도록 하겠습니다!특히 시계열 데이터를 1D Vision Task로 치환해서 시계열 예측에 도입했던 TCN 모델과 유사하게 TimesNet는 2D Vision Task로 치환해서 시계열 예측에 도입한 모델입니다!간단한 논문리뷰와 예제 데이터를 통한 실습까지 진행해보도록 하겠습니다! Paper: TIMESNET: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS(Haixu Wu, Tengge Hu, Yongliu Liu, Hang Zhou, Jianmin Wang, Mingsheng Long)Conference: IC..

트랜스포머 구조에서 오늘날 거의 표준으로 사용되는 Pre-LN(Pre-Layer Normalization) 구조에 관한 논문을 리뷰해보도록 하겠습니다! Paper: On Layer Normalization in the Transformer Architecture(Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, Tie-Yan Liu)Conference: ICML 2020ArXiv: https://arxiv.org/abs/2002.04745 On Layer Normalization in the Transformer ArchitectureThe Transfor..

오늘은 iTransformer 모델이 제안된 논문을 리뷰해보도록 하겠습니다! 기존 시계열 예측(TSF) Transformer 기반 모델의 대다수 방식이었던 기존 시간축 단위 토큰화에서 변수축 단위로 토큰화해서 어텐션 계산을 시도한 논문입니다!ITRANSFORMERPaper: ITRANSFORMER: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING (Yongliu Liu, Tengge Hu, Haixu Zhang, Haoran Wu, Shiyu Wang, Maobing Ma, Jianmin Wang, Mingsheng Long)Conference: ICLR 2024GitHub Repository: https://github.com/thuml..