Haru's 개발 블로그

LangChain이란? 최근 다양한 기업들이 LLM 서비스를 어플리케이션과 통합을 하여 사용하는 추세입니다. 이러한 과정을 편리하게 하기 위하여 랭체인(LangChain)은 노출하여 대규모 언어 모델과 애플리케이션의 통합을 간소화하는 SDK입니다. 여기서 중요한 점은 오픈AI와 같은 공급업체가 제공하는 모델 API를 사용하든, 오픈소스 모델을 앱에 사용하든 LLM 기반 애플리케이션을 구축하기 위해서는 단순히 프롬프트를 보내는 것 뿐만 아니라 다양한 작업들이 존재합니다. 예를 들어, 매개변수 조정부터 프롬프트 보강, 응답 조정, LLM은 상태를 저장하지 않으므로 대화의 이전 메시지를 기억하지 못하기 때문에 맥락 정보가 새로운 대화에서 컨텍스트를 다시 가져오기 위해 영구적인 데이터 베이스를 사용해야 할수도 ..

확장 확장하는 것은 짧은 텍스트를 예를 들어 지시사항이나 주제 목록을 큰 언어 모델이 생성하도록 하는 긴 텍스트, 예를 들어 이메일이나 어떤 주제에 대한 에세이를 만드는 것입니다. 이것의 좋은 사용 예는, 브레인스토밍 파트너로 큰 언어 모델을 사용하는 경우입니다. 다만, 누군가가 이를 사용하여 대량의 스팸을 생성하는 경우같이 문제가 될 수 있는 사용 사례도 있을 수 있습니다. 그래서, 큰 언어 모델의 이런 기능을 사용할 때는 책임감 있게, 그리고 사람들에게 도움이 되는 방식으로만 사용해야합니다. # given the sentiment from the lesson on "inferring", # and the original customer message, customize the email sentime..

추론 이번 강의에서는 추론에 관한 것에 대해 이야기를 할 예정입니다. 모델이 텍스트를 입력으로 받아서 어떤 종류의 분석을 수행하는 이런 작업을 생각해봅니다. 이것은 라벨 추출, 이름 추출이 될 수 있고, 텍스트의 감정을 이해하는 것과 같은 것입니다. 감정을 추출하려면, 긍정적인지 부정적인지, 텍스트의 일부를, 전통적인 머신러닝 작업 흐름에서는 라벨 데이터 세트를 수집하고, 훈련시키고 모델을 배포하는 방법을 찾아야 하며 클라우드에서 추론을 해야 합니다. 그리고 감정 분석이나 이름 추출 등 각각의 작업에 대해서도, 별도의 모델을 훈련시키고 배포해야 합니다. 큰 언어 모델의 좋은 점 중 하나는 이러한 많은 작업들에 대해, 단순히 프롬프트를 작성하면 거의 즉시 결과를 생성하기 시작한다는 것입니다. lamp_re..

앞의 강의에 이어서 작성하면 프롬프트를 작성할 때 첫 번째 프롬프트가 작동하는지 여부는 중요하지 않습니다. 가장 중요한 것은 애플리케이션에 적합한 프롬프트를 얻는 과정입니다. 머신러닝 개발에서는 종종 아이디어를 가지고 그것을 구현한다는 다이어그램을 본 적이 있을 것입니다. 즉, 코드를 작성하고, 데이터를 얻고, 모델을 훈련시키면 실험 결과를 얻을 수 있습니다. 그리고 그 출력을 보고, 오류 분석을 하거나, 어떤 부분이 작동하거나 작동하지 않는지 파악하고, 어떤 문제를 해결하려는지 또는 어떻게 접근할지에 대한 아이디어를 변경할 수도 있습니다. 그리고 구현을 변경하고 다른 실험을 실행하고, 효과적인 머신러닝 모델을 얻기 위해 반복적으로 진행합니다. 원하는 작업을 생각하고, 그 작업을 완료하기 위해 첫 번째 ..

최근 ChatGPT, 네이버 Clover X 등 여러 LLM, 대형 언어 모델 제품들이 큰 발전을 이루어서 여러 기업들에서 앞다퉈 개발 중입니다. 다만, ChatGPT나 CLOVER X를 사용해보면 나는 정상적인 질문(프롬프트)를 했다 생각하는데 여러 이상한 대답이 나오는 결과가 나오곤합니다. 이는 아직 ChatGPT에게 아무런 질문을 하지 않았을 때는 깔끔한 상태로 사용자가 어떻게 질문하는지에 따라서 대답의 퀄리티와 결과가 다르기 때문입니다. 여기서 인공지능 분야에서 권위있는 Andrew Ng 박사님과 OpenAI팀에 소속된 Isa Fulford님의 강좌에서 어떻게 프롬프트를 주어야 좋은 대답이 나오는지에 관한 강의를 요약해 봤습니다. Base LLM과 Instruction-tuned LLM의 차이 인..

검색 기반 질의응답에서 중요한 것은? 1. 정확성: 모델이 제공하는 답변은 정확하고 신뢰성 있어야 합니다. 사용자에게 부정확한 정보를 전달하거나 오류가 있는 답변을 제공하지 않도록 해야 합니다. 2. 문맥 이해: 모델은 질문과 관련된 문맥을 올바르게 이해해야 합니다. 질문의 의도와 문맥을 고려하지 않으면 잘못된 답변이 생성될 수 있습니다. 3. 다양한 문서 고려: 검색 기반 모델은 다양한 문서에서 정보를 검색하므로, 모델이 다양한 소스에서 문맥을 파악하고 정보를 종합할 수 있어야 합니다. 4. 문서의 신뢰도 평가: 검색된 문서의 신뢰도를 평가하여 신뢰성 있는 정보를 선별해야 합니다. 신뢰도 없는 정보로 인해 오해나 혼란을 야기하지 않도록 해야 합니다. 5. 데이터 양과 다양성: 모델을 학습시키거나 평가할..

ResNet DNN은 Layer가 깊어질수록 성능이 향상 되는 특징을 가졌습니다. 하지만 layer가 깊어지면 grdiant vanishing문제가 심해지기 때문에 ResNet은 이를 해결하기 위해 Skip connection 기법을 사용했습니다. 그래서 100층이 넘는 깊은 구조가 가능해졌습니다. 그리고 ReLU를 non-inear function을 사용한 것도 gradiant vanishing 문제를 개선시킵니다. 추가적으로 ResNet은 주로 Residual Block으로 구성되어 있습니다. Residual Block은 입력과 출력 사이에 잔차(Residual)를 학습하는 부분으로, 이전 층의 출력과 새로운 특징을 더하거나 합치는 방식으로 동작합니다. ResNet을 학습시킬때는 이미지를 224 X ..

MSE(Mean Square Error) MSE는 회귀모델에서 가장 기본적으로 사용되는 손실 함수 중 하나입니다. 이 손실 함수는 예측값과 실제값의 차이를 제곱하여 오차를 계산하고, 이를 데이터 샘플 수로 나눈 후 평균을 취합하는 특징을 가지고 있어 모델의 성능을 평가하는데 사용됩니다. MSE는 오차가 작을수록 모델의 예측이 실제 데이터에 더 잘 맞는 것을 의미합니다. 따라서 MSE는 최소화해야 하는 값으로, 더 낮은 MSE를 가진 모델일수록 더 우수한 모델로 평가됩니다. MSE는 회귀 모델에서 주로 사용됩니다. 회귀 모델은 연속적인 출력 값을 예측하는데 사용되며, 출력 값과의 오차를 측정하는 데에 MSE가 적합합니다. 그 예로 선형 회귀(Linear Regression), 다변수 회귀(Multiple ..

Recall / Precision / F1-score Recall(재현율)은 실제로 긍정인 데이터 중 긍정으로 예측한 비율을 말합니다. 오차 행렬을 기준으로 재현율은 TP / (FN + TP)으로 계산할 수 있습니다. 예시 : 실제 감염된 사람은 7명인데 진단키트로 6명을 잡아낼때, 재현율은 6/7입니다. Precision(정밀도)은 예측을 긍정으로 한 데이터 중 실제로 긍정인 비율을 말합니다. 오차 행렬을 기준으로 정밀도는 TP / (FP + TP)으로 계산할 수 있습니다. 예시 : 코로나 진단키트로 8명이 나왔을 때, 실제로 확진판정을 받은 사람이 6명이라면 정밀도는 6/8입니다. F1-score은 정밀도와 재현율 한 쪽에 치우치지 않고 둘 다 균형을 이루는 것을 나타낸 것입니다. F1은 (2 * p..

일본어가 영어에 비해서 토큰화가 어려운 이유는? 1. 형태소 분석 및 품사 태깅: 영어와 같은 공백으로 구분된 문장과 달리, 일본어 문장은 구두점이나 줄 바꿈 외에는 명시적인 구분 기호가 없기 때문에 '단어' 같은 것이 애초에 불분명하다. 따라서 형태소 분석기와 같이 툴이나 옵션 설정마다 분할되는 방법이 다릅니다. 예를 들어, 「おじいさん」을 「お、じい、さん」이라고 토큰화가 가능하기 때문에 담당 관계에 대해서도 도구마다 경향이 다릅니다. 2. 텍스트 정규화: 일본어에는 형태 변화나 발음 변화에 의한 다양한 텍스트 변형이 존재합니다. 이러한 변형을 고려하여 데이터를 정규화하는 전처리 과정이 필요합니다. 3. 문화적 차이 고려: 일본어는 문화적 차이로 인해 표현이나 의미가 달라질 수 있습니다. 이러한 문화적..