2025/07/02 2

[LLM] gemma3 Architecture 정리

개요Gemma 3는 Google DeepMind가 2025년 6월 출시한 혁신적인 multimodal open-weight 언어 모델로, 5:1 interleaved local-global attention mechanism과 극도로 향상된 메모리 효율성을 통해 open-source AI 모델의 새로운 패러다임을 제시했습니다. 27B parameter 모델이 단일 GPU에서 실행되면서도 DeepSeek-V3(671B)와 같은 대형 모델들과 경쟁할 수 있는 성능을 달성한 것은 아키텍처적 혁신의 결과입니다.KV cache 메모리 사용량을 60%에서 15%로 감소시키면서도 128K context length를 지원하며, multimodal 기능까지 통합한 Gemma 3는 효율성과 성능의 새로운 균형점을 찾았습..

FLUX.1 Kontext Architecture 및 기술적 특징 정리

개요 Black Forest Labs의 FLUX.1 Kontext는 생성형 flow matching 모델로서 단일 아키텍처 내에서 이미지 생성과 편집을 통합한 획기적인 모델입니다. 12B 파라미터를 가진 텍스트와 이미지 입력으로부터 의미적 컨텍스트를 통합하여 새로운 출력 뷰를 생성하며, 기존 최첨단 시스템 대비 8배 빠른 생성 속도와 뛰어난 캐릭터 일관성을 달성했습니다.특히 간단한 시퀀스 연결 접근법을 통해 로컬 편집과 생성형 in-context 작업을 모두 처리할 수 있으며, 이는 다중 턴 편집에서 캐릭터와 객체의 일관성을 크게 개선하였습니다. 링크논문 링크 : https://arxiv.org/html/2506.15742v2huggingface 링크 : https://huggingface.co/blac..