Haru's 개발 블로그

Link 논문 링크 https://arxiv.org/abs/2204.11824 깃허브 링크 https://github.com/lucidrains/retrieval-augmented-ddpm Abstract 자연어 처리에서 RAG에 영감을 받아서 검색 기반 접근 방식으로 Diffusion Model을 보안하고 외부 데이터베이스 형태의 명시적 메모리를 도입하는 것을 제안합니다. 본 논문의 확산 모델은 CLIP을 통해 각 훈련 인스턴스의 이웃에서 검색된 유사한 시각적 특징으로 훈련됩니다. 또한 적은 계산 및 메모리 오버헤드를 발생시키고 구현하기 쉽습니다. Introduction Diffusion model을 사용한 retrieval-augmented 생성 모델링을 위한 간단한 프레임워크를 제시합니다. CLIP..

Link 논문 링크 https://arxiv.org/abs/2106.15282 Abstract Cascade 확산 모델이 샘플 품질을 높이기 위한 보조 이미지 분류기의 도움 없이 충실도가 높은 이미지를 생성할 수 있음을 보여줍니다. Cascade 확산 모델은 가장 낮은 해상도에서 표준 확산 모델로 시작하여 이미지를 연속적으로 업샘플링하고 더 높은 해상도 세부 사항을 추가하는 하나 이상의 초해상도 확산 모델이 뒤따르는 형태로 다중 확산 모델 파이프라인으로 구성됩니다. 또한 연구진은 conditioning augmentation이 cascade 모델에서 샘플링하는 동안 복합 오류를 방지하여 cascading pipeline을 훈련하는 데 도움이 된다는 것을 발견했습니다. Introduction Cascadi..

링크 기술 문서 https://tengfei-wang.github.io/PITI/index.html Abstract 이전의 image-to-image 변환 방법은 전용 아키텍처 설계가 필요하고 처음부터 훈련하며 대규모의 쌍을 이루는 데이터셋이 필요했습니다. 본 논문에서는 image-to-image 변환을 다운스트림 작업으로 간주하고 다양한 종류의 변환을 수용하기 위해 사전 훈련된 확산 모델을 적용하는 간단하고 일반적인 프레임워크를 소개합니다. 또한 생성 품질을 개선하기 위한 정규화된 가이드 샘플링과 함께 확산 모델 훈련에서 텍스처 합성을 향상하기 위한 적대적 훈련을 제안합니다. Introduction 이미지 변환은 사전 훈련된 신경망을 사용하여 자연스러운 이미지 매니폴드를 탐색하고 입력 의미와 관련된 실..

Link 논문 링크 https://arxiv.org/abs/2207.12598 Abstract Classifier 없이 순수한 생성 모델에 의해 가이드가 실제로 수행될 수 있음을 보여준다. Classifier-free guidance로 조건부 및 무조건 모델을 공동으로 훈련하고 결과 점수 추정치를 결합하여 샘플 품질과 다양성 간의 균형을 달성한다. Introduction Classifier이전의 연구는 diffusion models의 점수 추정치를 분류기의 gradient와 혼합하였습니다. Gradient의 강도를 변경하여 Inception score와 FID 점수를 절충할 수 있습니다. 또한 Classifier 지침은 모델 파이프라인을 복잡하게 만들고 노이즈가 있는 데이터에 대해 훈련해야 하므로 사전 ..

Link 깃허브 링크 https://github.com/openai/guided-diffusion 논문 링크 https://arxiv.org/abs/2105.05233 Abstract Diffusion models이 이미지 샘플 품질보다 우수하다는 것을 보여주면서 분류기의 gradient를 활용한 조건부 이미지 합성으로 다양성을 절충하여 샘플 품질을 더욱 개선하는 방법을 제안합니다. Introduction GAN은 여전히 개선의 여지가 많으면서 다양한 도메인에 적용하는 것은 어려움이 있습니다. Diffusion models은 likelihood 기반 모델이면서 분포 범위, 고정된 훈련 목표 및 쉬운 확장성과 같은 바람직한 속성을 제공하면서 고품질 이미지를 생성하는 것이 가능합니다. 다만 Diffusion..

링크 논문 링크 https://arxiv.org/pdf/2308.09583.pdf 깃허브 링크 https://github.com/nlpxucan/WizardLM GitHub - nlpxucan/WizardLM: LLMs build upon Evol Insturct: WizardLM, WizardCoder, WizardMath LLMs build upon Evol Insturct: WizardLM, WizardCoder, WizardMath - nlpxucan/WizardLM github.com 들어가기에 앞서 최근에는 GPT-4와 같은 대형 언어 모델 (LLM)이 자연어 처리 (NLP) 작업에서 놀라운 성능을 보여주고 있으며, 이에는 어려운 수학적 추론도 포함됩니다. 다만, 이는 대부분의 기존 오픈 소스..

링크 논문 링크 https://arxiv.org/pdf/2309.12284.pdf 깃허브 링크 https://github.com/meta-math/MetaMath Huggingface 링크 https://huggingface.co/meta-math/MetaMath-70B-V1.0 학습 파라미터 engin = gpt-3.5-turbo dataset = GSM8k 추가적으로 후방 추론 방식으로는 GSM8K를 사용하여 증강 temperature = 0.7 part = str(문자열 부분) 구체적으로는 tip에 나와있는데 “to void overwriting previous generated data”인데 전에 생성된 데이터를 덮어쓰기입니다. 이 논문에서 나온 핵심 내용으로는 전 후방 데이터를 증강시켜 성능을 ..

https://arxiv.org/abs/2309.11674 A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models Generative Large Language Models (LLMs) have achieved remarkable advancements in various NLP tasks. However, these advances have not been reflected in the translation task, especially those with moderate model sizes (i.e., 7B or 13B parameters), which stil arxiv.org..