Haru's 개발 블로그

  • 홈
  • 태그
  • 방명록

flux 모델 최적화 1

Flux 모델 최적화를 위한 TorchAO 및 torch.compile() 활용 가이드

1. 서론대규모 이미지 생성 모델인 Flux와 SDXL의 성능을 최적화하는 것은 실용적 응용에 있어 매우 중요합니다. 이 리서치글에서는 TorchAO와 PyTorch의 torch.compile() 기능을 활용하여 이러한 모델들의 추론 속도를 향상시키고 메모리 사용량을 줄이는 방법에 대해 살펴보겠습니다.2. TorchAO를 이용한 양자화2.1 기본 양자화 적용Flux나 SDXL 모델에 TorchAO의 양자화를 적용하는 기본적인 방법은 다음과 같습니다:from diffusers import FluxPipeline# 또는 StableDiffusionXLPipelinefrom torchao.quantization import autoquantimport torchpipeline = FluxPipeline.fro..

머신러닝 & 딥러닝/딥러닝 2024.11.21
이전
1
다음
더보기
프로필사진

Haru's 개발 블로그

  • 분류 전체보기 (147) N
    • CS (14)
      • 자료구조,알고리즘 (2)
      • 네트워크 (4)
      • 운영체제 (8)
    • IOS (25)
      • SwiftUI (6)
      • HIG(UI,UX) (10)
      • interview (1)
      • Objective-C (8)
    • 머신러닝 & 딥러닝 (86) N
      • NLP(자연어 처리) (11)
      • 머신러닝 (4)
      • 딥러닝 (24)
      • LLM (47) N
    • 논문 리뷰 (18)
      • Diffusion (15)
      • Language Model (3)

Tag

오블완, LLM, inference server, contextual retrieval, multimodal, Agent, Objective-C, gemma3, Diffusion, 딥러닝, ai agent, flux 모델 최적화, 티스토리챌린지, flux.1 kontext, rag, Embedding, query rewriting, llm 보안, reranking, OpenAI,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바