Haru's 개발 블로그

GradioGradio는 머신 러닝 모델 사용자 인터페이스를 만드는 데 사용되는 유용한 도구입니다. PyTorch 및 TensorFlow와 같은 여러 기계 학습 프레임워크와 완벽하게 호환되는 Python 패키지입니다. 또한 임의의 범 용 Python 스크립트를 중심으로 UI를 만드는 데 사용할 수도 있습니다.장점Gradio는 기계 학습 모델에 최적화된 몇 가지 사용자 지정 가능한 UI 구성 요소를 제공합니다. 예를 들 어, Gradio는 사용자에게 고도로 최적화된 사용하기 쉬운 드래그 앤 드롭 이미지 분류를 제공합니다.Gradio를 설정하는 것은 매우 쉽고 빠릅니다. pip를 통해 직접 설치할 수 있습니다.게다가, Gradio에서 인터페이스를 생성하려면 몇 줄의 코드만 있으면 됩니다.Gradio는 배포된..

1. langchain 구성 요소 및 사전 세팅langchain에서는 전체적으로 Schema, Model, Prompt, Index, Memory, Chain, Agent 총 7가지의 컴포넌트를 제공합니다.환경 설정환경 세팅을 실시하기 위해 langchain과 openai의 SDK를 설치pip install langchainpip install openai환경 변수 설정export OPENAI_API_KEY = "SK-..."2.2) 변수로 api 세팅2.3) Jupyter notebook 활용 시, 환경 변수 설정import os os.environ["OPENAI_API_KEY"] = "..."api_key = "sk-..." chat_model = ChatOpenAI(openai_api_key=api..

입력 준비Latent : 이미지의 공간보다 낮은 공간을 차지하면서 계산 속도에 대해 영향을 끼침 + 시작하기 전에 랜덤 노이즈로 초기화 진행Text Prompt: 사용자가 입력한 텍스트, T5 Encoder와 CLIP으로 분리됨T5 Encoder는 언어의 문맥을 파악하는데 특화됨CLIP은 이미지-텍스트 쌍으로 학습이 진행되기 때문에 시각적 개념과 텍스트 상의 연관성을 잘 표현Scheduler → Timesteps: Diffusion Process stepsScheduler : Diffusion process에서 노이즈 제거 속도와 품질을 조절하는 파라미터 생성Timesteps : 각 Timestep은 노이즈 제거 과정의 특정 지점을 표Guidance: 생성 과정을 제어하는 파라미터Image Ids와 Te..

Algorithmic Statistics와 복잡도 이론의 심층 분석1. 이론적 기초1.1 Kolmogorov 복잡도의 정의Kolmogorov 복잡도 C(x)는 문자열 x를 출력하는 가장 짧은 프로그램의 길이로 정의됩니다.C(x) = min{|p| : U(p) = x}여기서 U는 universal Turing machine이고, |p|는 프로그램 p의 길이입니다.1.2 조건부 복잡도조건부 복잡도 C(x|y)는 y가 주어졌을 때 x를 생성하는 최소 프로그램 길이입니다:C(x|y) = min{|p| : U(p,y) = x}2. 통계적 모델링의 기본 프레임워크2.1 무작위성 결핍(Randomness Deficiency)집합 A에 대한 문자열 x의 무작위성 결핍:d(x|A) = log|A| - C(x|A)주요 특..

Transformer 아키텍처 및 구현 상세 분석1. Transformer 전체 구조1.1 기본 구성인코더 6개 층디코더 6개 층모델 차원 d_model = 512내부 Feed-Forward Network 차원 = 2048Multi-Head Attention의 헤드 수 = 8Layer Normalization과 Residual Connection 사용1.2 전체 데이터 흐름[입력 시퀀스] ↓[입력 임베딩 (d_model=512)] ↓[포지셔널 인코딩 추가] ↓[인코더 스택 (x6)] ↓[인코더 출력] ↓ ↘ ↓ [디코더 입력 임베딩] ↓ ↓ ↓ [포지셔널 인코딩 추가] ↓ ↓ ↓ [디코더 스택 ..

Relation Networks: 관계적 추론을 위한 혁신적 신경망 구조목차소개Relation Network 아키텍처주요 응용 분야실험 결과구현 상세결론 및 시사점1. 소개1.1 배경관계적 추론은 일반적인 지능의 핵심 요소이지만, 신경망이 이를 학습하기는 어려웠습니다. Relation Network(RN)는 이러한 문제를 해결하기 위한 새로운 접근법을 제시합니다.1.2 주요 특징class RelationNetwork: def __init__(self): self.key_features = { "plug_and_play": "기존 네트워크에 쉽게 통합", "simplicity": "간단한 구조로 강력한 성능", "versatili..

Order Matters: Sequence to Sequence for Sets의 완벽 가이드목차연구 배경 및 동기이론적 프레임워크아키텍처 상세 설명입력 집합 처리출력 집합 처리실험 및 결과 분석구현 가이드결론 1. 연구 배경 및 동기1.1 기존 Sequence-to-Sequence의 한계고정된 입력/출력 순서 가정비순차적 데이터 처리의 어려움조합적 문제에서의 제한사항1.2 주요 해결 과제challenges = { "입력": { "가변 길이": "입력 집합의 크기가 동적", "순서 독립성": "입력 순서에 불변한 표현 필요", "계산 효율성": "O(n²) 이하의 복잡도 목표" }, "출력": { "순서 최적화": "최적의 출력 순서 결정..

Neural Machine Translation with Attention목차소개기존 접근 방식의 한계주목 메커니즘(Attention Mechanism)모델 아키텍처학습 방법실험 결과결론 및 향후 연구 방향1. 소개1.1 연구 배경Neural Machine Translation(NMT)은 최근 제안된 기계번역의 새로운 패러다임입니다. 기존의 통계 기반 기계번역과 달리, NMT는:단일 신경망으로 번역 성능 최적화End-to-End 학습 가능수작업으로 설계된 특징(feature) 불필요1.2 기존 NMT의 문제점고정 길이 벡터로 인한 정보 압축의 한계긴 문장에서의 성능 저하문맥 정보 손실 위험2. 기존 접근 방식의 한계2.1 인코더-디코더 구조# 기존 인코더-디코더 방식c = q({h1, ..., hTx})..

Neural Turing Machine 이론부터 구현까지목차배경 및 소개이론적 기반아키텍처 상세 설명메모리 접근 메커니즘학습 방법실험 및 결과 분석한계점 및 향후 연구 방향1. 배경 및 소개1.1 기존 컴퓨터 프로그램의 세 가지 핵심 메커니즘기본 연산 (예: 산술 연산)논리적 흐름 제어 (분기)외부 메모리 (읽기/쓰기 가능)1.2 기존 머신러닝의 한계논리적 흐름 제어와 외부 메모리 활용의 부재복잡한 알고리즘적 작업 수행의 어려움가변 길이 입력 처리의 제한1.3 NTM의 혁신점신경망과 외부 메모리의 결합end-to-end 미분 가능한 구조튜링 완전성(Turing-completeness) 달성생물학적 작업 기억(working memory) 모방2. 이론적 기반2.1 인지과학적 배경작업 기억(Working M..

RNN 기초부터 최신 연구까지 가이드목차RNN의 기초와 이론RNN의 구조와 작동 원리문자 수준 언어 모델링실제 적용 사례 연구학습 과정과 최적화RNN의 내부 동작 분석고급 주제와 최신 연구도구와 프레임워크문제 해결과 최적화 전략1. RNN의 기초와 이론1.1 순환 신경망의 개념RNN(Recurrent Neural Networks)은 시퀀스 데이터를 처리하기 위해 설계된 특별한 형태의 신경망입니다.핵심 특징내부 메모리 상태 유지가변 길이 입/출력 처리 가능시간적 의존성 학습 능력RNN vs 전통적 신경망전통적 신경망의 한계고정된 입력 크기독립적인 입력 처리시간적 문맥 고려 불가RNN의 장점가변 길이 입력 처리문맥 정보 보존시퀀스 패턴 학습1.2 수학적 기초기본 수식h_t = tanh(W_hh * h_(t-..