Haru's 개발 블로그

링크 논문 링크 https://arxiv.org/pdf/2308.09583.pdf 깃허브 링크 https://github.com/nlpxucan/WizardLM GitHub - nlpxucan/WizardLM: LLMs build upon Evol Insturct: WizardLM, WizardCoder, WizardMath LLMs build upon Evol Insturct: WizardLM, WizardCoder, WizardMath - nlpxucan/WizardLM github.com 들어가기에 앞서 최근에는 GPT-4와 같은 대형 언어 모델 (LLM)이 자연어 처리 (NLP) 작업에서 놀라운 성능을 보여주고 있으며, 이에는 어려운 수학적 추론도 포함됩니다. 다만, 이는 대부분의 기존 오픈 소스..

링크 논문 링크 https://arxiv.org/pdf/2309.12284.pdf 깃허브 링크 https://github.com/meta-math/MetaMath Huggingface 링크 https://huggingface.co/meta-math/MetaMath-70B-V1.0 학습 파라미터 engin = gpt-3.5-turbo dataset = GSM8k 추가적으로 후방 추론 방식으로는 GSM8K를 사용하여 증강 temperature = 0.7 part = str(문자열 부분) 구체적으로는 tip에 나와있는데 “to void overwriting previous generated data”인데 전에 생성된 데이터를 덮어쓰기입니다. 이 논문에서 나온 핵심 내용으로는 전 후방 데이터를 증강시켜 성능을 ..

https://arxiv.org/abs/2309.11674 A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models Generative Large Language Models (LLMs) have achieved remarkable advancements in various NLP tasks. However, these advances have not been reflected in the translation task, especially those with moderate model sizes (i.e., 7B or 13B parameters), which stil arxiv.org..