티스토리

Haru's 개발 블로그

검색하기

블로그 홈

Haru's 개발 블로그

haru0229.tistory.com/m

Haru_29 님의 블로그입니다.

구독자: 4

방명록 방문하기

주요 글 목록

Gradient Accumulation 문제 및 해결 방법과 Batch 비교 Transformer Gradient Accumulation 문제 및 해결 방법1. 문제 개요문제: Gradient Accumulation(GA)은 수학적으로 Full Batch Training과 동일해야 하지만, 실험 결과 특정 조건에서 Training Loss가 일치하지 않음.현상: GA 크기가 클수록 Training Loss가 증가하는 이상 현상 발생. 예를 들어 bsz=1, ga=16와 bsz=16, ga=1의 Training Loss가 다름.원인: Cross Entropy(CE) Loss의 Normalizer가 제대로 작동하지 않음. 이는 L2 Norm이 증가하는 결과를 초래. 2. 문제 원인 분석Cross Entropy Loss 정상화 문제:CE Loss의 정규화 과정에서 Gradient Ac.. 공감수 3 댓글수 2 2024. 11. 27.
UNet과 Text Encoder의 학습 방법 1. UNet의 기본 특성과 한계Computer Vision 모델의 Low-Level Pixel Space 특성으로 인해 복잡한 지식 표현이 어렵습니다.시각적 요소들이 유사도 기반으로 분산되어 있습니다:'손 그림', '발 그림', '다리 그림' 등이 연결 없이 흩어져 있습니다.비유하자면 주머니 속 각각의 구슬과 같습니다.학습 가능한 기초적 지식의 범위:눈, 코, 입의 기본적인 얼굴 배치인체의 기본 구조 (팔 2개, 다리 2개)신체 부위의 기본적 연결 관계 2. Text Encoder의 도입과 역할High-Level의 압축된 지식을 다룹니다.Semantic 특성으로 인간의 인식과 유사한 해석이 가능합니다.UNet과의 결합 효과:원하는 시각적 요소를 선택적으로 활용합니다.상황에 맞는 조합을 가이드합니다.이러.. 공감수 1 댓글수 0 2024. 11. 25.
Stable Diffusion 3.5 Large Fine-tuning Tutorial 정리 참고https://stabilityai.notion.site/Stable-Diffusion-3-5-Large-Fine-tuning-Tutorial-11a61cdcd1968027a15bdbd7c40be8c61. 환경 설정Python 환경 설정# Python 3.11.6 이상 필요python -m venv .venvsource .venv/bin/activatepip install -U poetry pip# Poetry 설정poetry config virtualenvs.create falsepoetry installCUDA 요구사항CUDA 12.2 이상 권장낮은 버전 사용시 수정된 설치 방법 필요# CUDA 12.1 예시pip install torch==2.4.1+cu121 torchvision==0.19.1.. 공감수 2 댓글수 1 2024. 11. 24.
Stable Diffusion 3.5 Medium 모델 학습 최적화 가이드 Stable Diffusion 3.5 medium 모델 구조 1. 핵심 학습 방법 최적화노이즈 샘플링 전략Logit-normal 분포를 사용한 노이즈 샘플링 구현def logit_normal_sampling(t, m=0.0, s=1.0): u = torch.randn_like(t) * s + m return torch.sigmoid(u)파라미터 설정:위치 파라미터 m = 0.0스케일 파라미터 s = 1.0중간 타임스텝에 더 많은 학습 가중치 부여EDM이나 기존 확산 모델보다 우수한 성능 달성손실 함수 최적화Conditional Flow Matching (CFM) 손실 함수 사용: def compute_cfm_loss(model_output, noise, t): # v_θ(z, t) - u.. 공감수 0 댓글수 0 2024. 11. 23.
Flux perfermence improved by Flash attention3 + Triton FlashAttention-3: 대규모 언어 모델을 위한 어텐션 메커니즘의 혁신1. 서론대규모 언어 모델(LLM)의 발전과 함께, 트랜스포머 구조의 핵심 요소인 어텐션 메커니즘의 효율성 개선이 중요한 과제로 대두되고 있습니다. 특히 긴 문맥(long-context)을 다루는 모델에서 어텐션 연산은 주요 병목 현상의 원인이 되어왔습니다. 이러한 맥락에서 FlashAttention 알고리즘의 발전, 특히 최근 발표된 FlashAttention-3는 주목할 만한 혁신을 가져왔습니다.하지만 들어가기에 앞서 현재 FlashAttention3는 Hopper 기반(H100)에서만 사용이 가능하고 ADA 기반(RTX4090, L4) GPU는 사용을 할 수가 없음으로 추후에 업데이트를 기다려야 합니다.2. FlashAt.. 공감수 3 댓글수 2 2024. 11. 22.
Flux 모델 최적화를 위한 TorchAO 및 torch.compile() 활용 가이드 1. 서론대규모 이미지 생성 모델인 Flux와 SDXL의 성능을 최적화하는 것은 실용적 응용에 있어 매우 중요합니다. 이 리서치글에서는 TorchAO와 PyTorch의 torch.compile() 기능을 활용하여 이러한 모델들의 추론 속도를 향상시키고 메모리 사용량을 줄이는 방법에 대해 살펴보겠습니다.2. TorchAO를 이용한 양자화2.1 기본 양자화 적용Flux나 SDXL 모델에 TorchAO의 양자화를 적용하는 기본적인 방법은 다음과 같습니다:from diffusers import FluxPipeline# 또는 StableDiffusionXLPipelinefrom torchao.quantization import autoquantimport torchpipeline = FluxPipeline.fro.. 공감수 1 댓글수 1 2024. 11. 21.
Langchain 문서(Simple Start) 1. langchain 구성 요소 및 사전 세팅langchain에서는 전체적으로 Schema, Model, Prompt, Index, Memory, Chain, Agent 총 7가지의 컴포넌트를 제공합니다.환경 설정환경 세팅을 실시하기 위해 langchain과 openai의 SDK를 설치pip install langchainpip install openai환경 변수 설정export OPENAI_API_KEY = "SK-..."2.2) 변수로 api 세팅2.3) Jupyter notebook 활용 시, 환경 변수 설정import os os.environ["OPENAI_API_KEY"] = "..."api_key = "sk-..." chat_model = ChatOpenAI(openai_api_key=api.. 공감수 1 댓글수 0 2024. 11. 19.
Flux.1-dev 모델 구조와 작동 원리 입력 준비Latent : 이미지의 공간보다 낮은 공간을 차지하면서 계산 속도에 대해 영향을 끼침 + 시작하기 전에 랜덤 노이즈로 초기화 진행Text Prompt: 사용자가 입력한 텍스트, T5 Encoder와 CLIP으로 분리됨T5 Encoder는 언어의 문맥을 파악하는데 특화됨CLIP은 이미지-텍스트 쌍으로 학습이 진행되기 때문에 시각적 개념과 텍스트 상의 연관성을 잘 표현Scheduler → Timesteps: Diffusion Process stepsScheduler : Diffusion process에서 노이즈 제거 속도와 품질을 조절하는 파라미터 생성Timesteps : 각 Timestep은 노이즈 제거 과정의 특정 지점을 표Guidance: 생성 과정을 제어하는 파라미터Image Ids와 Te.. 공감수 0 댓글수 0 2024. 11. 18.
[AI 기초 다지기] Kolmogorov Complexity and Algorithmic Randomness Algorithmic Statistics와 복잡도 이론의 심층 분석1. 이론적 기초1.1 Kolmogorov 복잡도의 정의Kolmogorov 복잡도 C(x)는 문자열 x를 출력하는 가장 짧은 프로그램의 길이로 정의됩니다.C(x) = min{|p| : U(p) = x}여기서 U는 universal Turing machine이고, |p|는 프로그램 p의 길이입니다.1.2 조건부 복잡도조건부 복잡도 C(x|y)는 y가 주어졌을 때 x를 생성하는 최소 프로그램 길이입니다:C(x|y) = min{|p| : U(p,y) = x}2. 통계적 모델링의 기본 프레임워크2.1 무작위성 결핍(Randomness Deficiency)집합 A에 대한 문자열 x의 무작위성 결핍:d(x|A) = log|A| - C(x|A)주요 특.. 공감수 0 댓글수 0 2024. 11. 17.
[AI 기초 다지기] Transformer & The Annotated Transformer & Scaling Laws for Neural Language Models 논문 분석 및 코드 구현 Transformer 아키텍처 및 구현 상세 분석1. Transformer 전체 구조1.1 기본 구성인코더 6개 층디코더 6개 층모델 차원 d_model = 512내부 Feed-Forward Network 차원 = 2048Multi-Head Attention의 헤드 수 = 8Layer Normalization과 Residual Connection 사용1.2 전체 데이터 흐름[입력 시퀀스] ↓[입력 임베딩 (d_model=512)] ↓[포지셔널 인코딩 추가] ↓[인코더 스택 (x6)] ↓[인코더 출력] ↓ ↘ ↓ [디코더 입력 임베딩] ↓ ↓ ↓ [포지셔널 인코딩 추가] ↓ ↓ ↓ [디코더 스택 .. 공감수 0 댓글수 0 2024. 11. 16.
[AI 기초 다지기] Relation Networks & Relational Recurrent Neural Networks 논문 분석 및 코드 구현 Relation Networks: 관계적 추론을 위한 혁신적 신경망 구조목차소개Relation Network 아키텍처주요 응용 분야실험 결과구현 상세결론 및 시사점1. 소개1.1 배경관계적 추론은 일반적인 지능의 핵심 요소이지만, 신경망이 이를 학습하기는 어려웠습니다. Relation Network(RN)는 이러한 문제를 해결하기 위한 새로운 접근법을 제시합니다.1.2 주요 특징class RelationNetwork: def __init__(self): self.key_features = { "plug_and_play": "기존 네트워크에 쉽게 통합", "simplicity": "간단한 구조로 강력한 성능", "versatili.. 공감수 3 댓글수 8 2024. 11. 15.
[AI 기초 다지기] Set2Set 논문 분석 및 코드 구현 Order Matters: Sequence to Sequence for Sets의 완벽 가이드목차연구 배경 및 동기이론적 프레임워크아키텍처 상세 설명입력 집합 처리출력 집합 처리실험 및 결과 분석구현 가이드결론 1. 연구 배경 및 동기1.1 기존 Sequence-to-Sequence의 한계고정된 입력/출력 순서 가정비순차적 데이터 처리의 어려움조합적 문제에서의 제한사항1.2 주요 해결 과제challenges = { "입력": { "가변 길이": "입력 집합의 크기가 동적", "순서 독립성": "입력 순서에 불변한 표현 필요", "계산 효율성": "O(n²) 이하의 복잡도 목표" }, "출력": { "순서 최적화": "최적의 출력 순서 결정.. 공감수 2 댓글수 1 2024. 11. 14.
[AI 기초 다지기] RNNsearch & Pointer Networks 논문 분석 및 코드 구현 Neural Machine Translation with Attention목차소개기존 접근 방식의 한계주목 메커니즘(Attention Mechanism)모델 아키텍처학습 방법실험 결과결론 및 향후 연구 방향1. 소개1.1 연구 배경Neural Machine Translation(NMT)은 최근 제안된 기계번역의 새로운 패러다임입니다. 기존의 통계 기반 기계번역과 달리, NMT는:단일 신경망으로 번역 성능 최적화End-to-End 학습 가능수작업으로 설계된 특징(feature) 불필요1.2 기존 NMT의 문제점고정 길이 벡터로 인한 정보 압축의 한계긴 문장에서의 성능 저하문맥 정보 손실 위험2. 기존 접근 방식의 한계2.1 인코더-디코더 구조# 기존 인코더-디코더 방식c = q({h1, ..., hTx}).. 공감수 1 댓글수 1 2024. 11. 13.
[AI 기초 다지기] Neural Turing Machine & Deep Speech 2 논문 분석 및 코드 구현 Neural Turing Machine 이론부터 구현까지목차배경 및 소개이론적 기반아키텍처 상세 설명메모리 접근 메커니즘학습 방법실험 및 결과 분석한계점 및 향후 연구 방향1. 배경 및 소개1.1 기존 컴퓨터 프로그램의 세 가지 핵심 메커니즘기본 연산 (예: 산술 연산)논리적 흐름 제어 (분기)외부 메모리 (읽기/쓰기 가능)1.2 기존 머신러닝의 한계논리적 흐름 제어와 외부 메모리 활용의 부재복잡한 알고리즘적 작업 수행의 어려움가변 길이 입력 처리의 제한1.3 NTM의 혁신점신경망과 외부 메모리의 결합end-to-end 미분 가능한 구조튜링 완전성(Turing-completeness) 달성생물학적 작업 기억(working memory) 모방2. 이론적 기반2.1 인지과학적 배경작업 기억(Working M.. 공감수 4 댓글수 3 2024. 11. 12.
[AI 기초 다지기] RNN & LSTM 논문 분석 및 코드 구현 RNN 기초부터 최신 연구까지 가이드목차RNN의 기초와 이론RNN의 구조와 작동 원리문자 수준 언어 모델링실제 적용 사례 연구학습 과정과 최적화RNN의 내부 동작 분석고급 주제와 최신 연구도구와 프레임워크문제 해결과 최적화 전략1. RNN의 기초와 이론1.1 순환 신경망의 개념RNN(Recurrent Neural Networks)은 시퀀스 데이터를 처리하기 위해 설계된 특별한 형태의 신경망입니다.핵심 특징내부 메모리 상태 유지가변 길이 입/출력 처리 가능시간적 의존성 학습 능력RNN vs 전통적 신경망전통적 신경망의 한계고정된 입력 크기독립적인 입력 처리시간적 문맥 고려 불가RNN의 장점가변 길이 입력 처리문맥 정보 보존시퀀스 패턴 학습1.2 수학적 기초기본 수식h_t = tanh(W_hh * h_(t-.. 공감수 9 댓글수 10 2024. 11. 11.
[AI 기초 다지기] ResNet identity mappings & Dilated convolutions 논문 분석 및 코드 구현 Identity Mappings in Deep Residual Networks1. 연구 배경과 핵심 아이디어1.1 기존 ResNet의 구조class OriginalResidualUnit(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() # 기존 ResNet의 기본 구조 self.conv1 = nn.Conv2d(in_channels, out_channels, 3, padding=1) self.bn1 = nn.BatchNorm2d(out_channels) self.conv2 = nn.Conv2d(out_channels, out_channe.. 공감수 2 댓글수 2 2024. 11. 10.
[AI 기초 다지기] 스탠포드 대학 딥러닝 기초(4) - Convolutional Neural Networks 합성곱 신경망(CNN) 가이드: 구조와 구현1. CNN의 기본 개념1.1 일반 신경망과의 차이점# 일반 신경망class RegularNeuralNet: def __init__(self, input_size): self.weights = np.random.randn(input_size, hidden_size) # 모든 입력과 연결: 32x32x3 이미지의 경우 3072개 가중치# CNNclass ConvNet: def __init__(self, filter_size): self.filter = np.random.randn(filter_size, filter_size, 3) # 지역적 연결: 5x5x3 필터의 경우 75개 가중치1.2 CNN의 핵심.. 공감수 6 댓글수 6 2024. 11. 8.
[AI 기초 다지기] 스탠포드 대학 딥러닝 기초(3) - Neural Networks 뉴럴 네트워크의 기초: 완벽 가이드 1. 뉴럴 네트워크란?1.1 기본 개념뉴럴 네트워크를 이해하기 위해 먼저 선형 분류기를 살펴보겠습니다. 기존의 선형 분류에서는 다음과 같은 공식을 사용했습니다:s = Wx # 여기서 s는 점수, W는 가중치 행렬, x는 입력 벡터예를 들어 CIFAR-10 데이터셋의 경우:x: [3072x1] 크기의 이미지 픽셀 데이터 벡터W: [10x3072] 크기의 가중치 행렬s: 10개 클래스에 대한 점수 벡터1.2 뉴럴 네트워크의 기본 수식기본적인 뉴럴 네트워크는 다음과 같은 형태를 가집니다:s = W2 * max(0, W1x)여기서:W1: [100x3072] 크기의 첫 번째 가중치 행렬max(0,-): ReLU 활성화 함수W2: [10x100] 크기의 두 번째 가중치 행렬3층 .. 공감수 1 댓글수 1 2024. 11. 7.
[AI 기초 다지기] 스탠포드 대학 딥러닝 기초(2) - Optimization: Stochastic Gradient Descent & Backpropagation, Intuitions Optimization: Stochastic Gradient Descent 1. 개요머신러닝에서 최적화는 모델의 성능을 향상시키는 핵심 과정입니다. 이 글에서는 이미지 분류 문제를 예시로 들어 최적화 과정을 설명하겠습니다. 핵심 구성요소점수 함수(Score Function): 입력 이미지를 클래스 점수로 매핑 (예: 선형 함수)f(xi,W) = Wxi손실 함수(Loss Function): 예측값과 실제값의 차이를 측정L = (1/N) * ∑i∑j≠yi[max(0,f(xi;W)j−f(xi;W)yi+1)] + αR(W)최적화(Optimization): 손실 함수를 최소화하는 매개변수 W를 찾는 과정 2. 손실 함수 시각화고차원 공간에서 정의되는 손실 함수CIFAR-10의 경우: 가중치 행렬 W는 [10 x .. 공감수 2 댓글수 2 2024. 11. 5.
[AI 기초 다지기] 스탠포드 대학 딥러닝 기초(1) - Image Classification & Linear classification 시작하기 전지금으로부터 4년전 OpenAI의 CEO 샘 알트먼이 둠 프로그래머로 유명한 존 카맥을 초대하여 openAI 사람들과 이야기하며 일리야 수츠키버가 자신이 정리한 30가지 항목을 주며 이를 다 이해하면 업계 내의 정보 90퍼센트를 따라왔다라고 이야기를 하였습니다. 물론 4년전 내용이라 과거의 내용일지 모르겠지만 기초를 다시 다지는데 이보다 더 좋은 코스는 없을 것 같아 조금씩 따라가 보도록 하겠습니다.https://tensorlabbet.com/2024/09/24/ai-reading-list/ 스탠포드 대학 딥러닝 기초 목차1. Image Classification: Data-driven Approach, k-Nearest Neighbor, train/val/test splits2. Linear.. 공감수 2 댓글수 2 2024. 11. 4.
[딥 러닝] 인공 신경망(Artificial Neural Network)이란 무엇인가? 피드 포워드 신경망(Feed-Forward Neural Network,FFNN) 위 그림의 다층 퍼셉트론(MLP)과 같이 오직 입력층에서 출력층 방향으로 연산이 전개되는 신경망을 피드 포워드 신경망(Feed-Forward Neural Network, FFNN)이라고 합니다. 위의 그림은 FFNN에 속하지 않는 RNN이라는 신경망을 보여줍니다. 이 신경망은 은닉층의 출력값을 출력층으로도 값을 보내지만, 동시에 은닉층의 출력값이 다시 은닉층의 입력으로 사용됩니다. 전결합층(Fully-connected layer,FC,Dense layer) 다층 퍼셉트론은 은닉층과 출력층에 있는 모든 뉴런은 바로 이전 층의 모든 뉴런과 연결돼 있었습니다. 그와 같이 어떤 층의 모든 뉴런이 이전 층의 모든 뉴런과 연결돼 있는 .. 공감수 0 댓글수 0 2023. 6. 1.
[딥 러닝] 퍼셉트론이란 무엇인가? 인공 신경망은 수많은 머신러닝 기법 중 하나입니다. 다만, 최근 인공 신경망을 복잡하게 쌓아올린 다른 머신러닝보다 뛰어난 성능을 보여 주고 있어서 따로 분리 해야된다라는 말이 많습니다. 딥 러닝을 이해하기 위해서는 우선 인공 신경망에 대한 이해가 필요한데, 여기서는 초기의 인공 신경망인 퍼셉트론(Perceptron)에 대해서 이해가 필요합니다. 퍼셉트론(Perceptron) 퍼셉트론(Perceptron)은 1957년에 제안한 초기 형태의 인공 신경망으로 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘입니다. 퍼셉트론은 실제 뇌를 구성하는 신경 세포 뉴런의 동작과 유사하고 뉴런은 가지돌기에서 신호를 받아들이고, 이 신호가 일정치 이상의 크기를 가지면 축삭돌기를 통해서 신호를 전달합니다. 아래는 다수의 .. 공감수 0 댓글수 0 2023. 6. 1.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.