머신러닝 & 딥러닝/딥러닝 22

[AI 기초 다지기] Relation Networks & Relational Recurrent Neural Networks 논문 분석 및 코드 구현

Relation Networks: 관계적 추론을 위한 혁신적 신경망 구조목차소개Relation Network 아키텍처주요 응용 분야실험 결과구현 상세결론 및 시사점1. 소개1.1 배경관계적 추론은 일반적인 지능의 핵심 요소이지만, 신경망이 이를 학습하기는 어려웠습니다. Relation Network(RN)는 이러한 문제를 해결하기 위한 새로운 접근법을 제시합니다.1.2 주요 특징class RelationNetwork: def __init__(self): self.key_features = { "plug_and_play": "기존 네트워크에 쉽게 통합", "simplicity": "간단한 구조로 강력한 성능", "versatili..

[AI 기초 다지기] Set2Set 논문 분석 및 코드 구현

Order Matters: Sequence to Sequence for Sets의 완벽 가이드목차연구 배경 및 동기이론적 프레임워크아키텍처 상세 설명입력 집합 처리출력 집합 처리실험 및 결과 분석구현 가이드결론 1. 연구 배경 및 동기1.1 기존 Sequence-to-Sequence의 한계고정된 입력/출력 순서 가정비순차적 데이터 처리의 어려움조합적 문제에서의 제한사항1.2 주요 해결 과제challenges = { "입력": { "가변 길이": "입력 집합의 크기가 동적", "순서 독립성": "입력 순서에 불변한 표현 필요", "계산 효율성": "O(n²) 이하의 복잡도 목표" }, "출력": { "순서 최적화": "최적의 출력 순서 결정..

[AI 기초 다지기] RNNsearch & Pointer Networks 논문 분석 및 코드 구현

Neural Machine Translation with Attention목차소개기존 접근 방식의 한계주목 메커니즘(Attention Mechanism)모델 아키텍처학습 방법실험 결과결론 및 향후 연구 방향1. 소개1.1 연구 배경Neural Machine Translation(NMT)은 최근 제안된 기계번역의 새로운 패러다임입니다. 기존의 통계 기반 기계번역과 달리, NMT는:단일 신경망으로 번역 성능 최적화End-to-End 학습 가능수작업으로 설계된 특징(feature) 불필요1.2 기존 NMT의 문제점고정 길이 벡터로 인한 정보 압축의 한계긴 문장에서의 성능 저하문맥 정보 손실 위험2. 기존 접근 방식의 한계2.1 인코더-디코더 구조# 기존 인코더-디코더 방식c = q({h1, ..., hTx})..

[AI 기초 다지기] Neural Turing Machine & Deep Speech 2 논문 분석 및 코드 구현

Neural Turing Machine 이론부터 구현까지목차배경 및 소개이론적 기반아키텍처 상세 설명메모리 접근 메커니즘학습 방법실험 및 결과 분석한계점 및 향후 연구 방향1. 배경 및 소개1.1 기존 컴퓨터 프로그램의 세 가지 핵심 메커니즘기본 연산 (예: 산술 연산)논리적 흐름 제어 (분기)외부 메모리 (읽기/쓰기 가능)1.2 기존 머신러닝의 한계논리적 흐름 제어와 외부 메모리 활용의 부재복잡한 알고리즘적 작업 수행의 어려움가변 길이 입력 처리의 제한1.3 NTM의 혁신점신경망과 외부 메모리의 결합end-to-end 미분 가능한 구조튜링 완전성(Turing-completeness) 달성생물학적 작업 기억(working memory) 모방2. 이론적 기반2.1 인지과학적 배경작업 기억(Working M..

[AI 기초 다지기] RNN & LSTM 논문 분석 및 코드 구현

RNN 기초부터 최신 연구까지 가이드목차RNN의 기초와 이론RNN의 구조와 작동 원리문자 수준 언어 모델링실제 적용 사례 연구학습 과정과 최적화RNN의 내부 동작 분석고급 주제와 최신 연구도구와 프레임워크문제 해결과 최적화 전략1. RNN의 기초와 이론1.1 순환 신경망의 개념RNN(Recurrent Neural Networks)은 시퀀스 데이터를 처리하기 위해 설계된 특별한 형태의 신경망입니다.핵심 특징내부 메모리 상태 유지가변 길이 입/출력 처리 가능시간적 의존성 학습 능력RNN vs 전통적 신경망전통적 신경망의 한계고정된 입력 크기독립적인 입력 처리시간적 문맥 고려 불가RNN의 장점가변 길이 입력 처리문맥 정보 보존시퀀스 패턴 학습1.2 수학적 기초기본 수식h_t = tanh(W_hh * h_(t-..

[AI 기초 다지기] ResNet identity mappings & Dilated convolutions 논문 분석 및 코드 구현

Identity Mappings in Deep Residual Networks1. 연구 배경과 핵심 아이디어1.1 기존 ResNet의 구조class OriginalResidualUnit(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() # 기존 ResNet의 기본 구조 self.conv1 = nn.Conv2d(in_channels, out_channels, 3, padding=1) self.bn1 = nn.BatchNorm2d(out_channels) self.conv2 = nn.Conv2d(out_channels, out_channe..

[AI 기초 다지기] 스탠포드 대학 딥러닝 기초(4) - Convolutional Neural Networks

합성곱 신경망(CNN) 가이드: 구조와 구현1. CNN의 기본 개념1.1 일반 신경망과의 차이점# 일반 신경망class RegularNeuralNet: def __init__(self, input_size): self.weights = np.random.randn(input_size, hidden_size) # 모든 입력과 연결: 32x32x3 이미지의 경우 3072개 가중치# CNNclass ConvNet: def __init__(self, filter_size): self.filter = np.random.randn(filter_size, filter_size, 3) # 지역적 연결: 5x5x3 필터의 경우 75개 가중치1.2 CNN의 핵심..

[AI 기초 다지기] 스탠포드 대학 딥러닝 기초(3) - Neural Networks

뉴럴 네트워크의 기초: 완벽 가이드 1. 뉴럴 네트워크란?1.1 기본 개념뉴럴 네트워크를 이해하기 위해 먼저 선형 분류기를 살펴보겠습니다. 기존의 선형 분류에서는 다음과 같은 공식을 사용했습니다:s = Wx # 여기서 s는 점수, W는 가중치 행렬, x는 입력 벡터예를 들어 CIFAR-10 데이터셋의 경우:x: [3072x1] 크기의 이미지 픽셀 데이터 벡터W: [10x3072] 크기의 가중치 행렬s: 10개 클래스에 대한 점수 벡터1.2 뉴럴 네트워크의 기본 수식기본적인 뉴럴 네트워크는 다음과 같은 형태를 가집니다:s = W2 * max(0, W1x)여기서:W1: [100x3072] 크기의 첫 번째 가중치 행렬max(0,-): ReLU 활성화 함수W2: [10x100] 크기의 두 번째 가중치 행렬3층 ..

[AI 기초 다지기] 스탠포드 대학 딥러닝 기초(2) - Optimization: Stochastic Gradient Descent & Backpropagation, Intuitions

Optimization: Stochastic Gradient Descent 1. 개요머신러닝에서 최적화는 모델의 성능을 향상시키는 핵심 과정입니다. 이 글에서는 이미지 분류 문제를 예시로 들어 최적화 과정을 설명하겠습니다. 핵심 구성요소점수 함수(Score Function): 입력 이미지를 클래스 점수로 매핑 (예: 선형 함수)f(xi,W) = Wxi손실 함수(Loss Function): 예측값과 실제값의 차이를 측정L = (1/N) * ∑i∑j≠yi[max(0,f(xi;W)j−f(xi;W)yi+1)] + αR(W)최적화(Optimization): 손실 함수를 최소화하는 매개변수 W를 찾는 과정 2. 손실 함수 시각화고차원 공간에서 정의되는 손실 함수CIFAR-10의 경우: 가중치 행렬 W는 [10 x ..

[AI 기초 다지기] 스탠포드 대학 딥러닝 기초(1) - Image Classification & Linear classification

시작하기 전지금으로부터 4년전 OpenAI의 CEO 샘 알트먼이 둠 프로그래머로 유명한 존 카맥을 초대하여 openAI 사람들과 이야기하며 일리야 수츠키버가 자신이 정리한 30가지 항목을 주며 이를 다 이해하면 업계 내의 정보 90퍼센트를 따라왔다라고 이야기를 하였습니다. 물론 4년전 내용이라 과거의 내용일지 모르겠지만 기초를 다시 다지는데 이보다 더 좋은 코스는 없을 것 같아 조금씩 따라가 보도록 하겠습니다.https://tensorlabbet.com/2024/09/24/ai-reading-list/ 스탠포드 대학 딥러닝 기초 목차1. Image Classification: Data-driven Approach, k-Nearest Neighbor, train/val/test splits2. Linear..