Hippo's data

트랜스포머 구조에서 오늘날 거의 표준으로 사용되는 Pre-LN(Pre-Layer Normalization) 구조에 관한 논문을 리뷰해보도록 하겠습니다! Paper: On Layer Normalization in the Transformer Architecture(Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, Tie-Yan Liu)Conference: ICML 2020ArXiv: https://arxiv.org/abs/2002.04745 On Layer Normalization in the Transformer ArchitectureThe Transfor..