Agentic Design Pattern LLM 에게 한번의 Zero-shot 으로 사용 1. 수정 없이, -> Reflection 2. 외부자료 없이, -> Tool Use 3.백지 상태에서, -> Planning 4.의견을 나눌 사람 없는 상황에서 -> Multi Agent 높은 퀄리티를 기대하는 것이다이렇게 부탁하면 어떨까? → Agent Workflow글의 아웃라인을 작성하세요1. 글에서 필요한 정보가 무엇인지, 어디서 찾을지 결정하고 정보를 수집하세요2. 초안을 작성하세요3. 초안을 다시 읽고 근거 없는 주장이나 관련 없는 정보를 찾으세요4. 초안에서 발견된 부족한 부분들을 수정하세요5. 관련 전문가에게 검토를 받으세요6. 이를 반복하세요세대 업그레이드 보다 에이전트 워크플로우를 적용하는 것의 ..

(3) 번 코드와 별개로 테스트는 계속 해보는게 좋을 것 같아서 다른 코드를 돌려보았다… 누군가가 나에게 도망친 곳에 낙원은 없다고 했는데 진짜 그 말 대로 이거 저거 안되면 포기하고 돌아다니고 있는데 디버깅을 끈기 있게 해봐야겠다… QLoRA 랑 Quantization 을 적용한 SOLAR 모델 코드가 올라와서 해당 모델에서 내가 다운받았던 yanolja/KoSOLAR-10.7B-v0.3 으로 바꿔서 돌려보고 있다. 잠깐 bitsandbytes 라이브러리 문제가 있긴 했는데 그냥 코드 그대로 사용하니까 돌아가서 돌려보는 중이다. 2시간 정도 걸렸고 Training loss 는 다음과 같았다. Inference 를 하려고 했는데 코드 게시글에 올라온 코드를 참고하라고 원 글에 적혀있어서 사용해보려 했지만..

Ko-SOLAR 모델을 한번 시도해보려고 있는데 생각보다 GPU 가 많이 필요하다. OutOfMemoryError: CUDA out of memory. Tried to allocate 224.00 MiB (GPU 1; 79.35 GiB total capacity; 78.18 GiB already allocated; 165.19 MiB free; 78.20 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF ..

1. Embedding Vector 추출 모델 ? AI 동계 강좌를 듣고 온 사이 몇개의 코드 공유 글이 더 올라와서 해당 코드들을 참고해보려고 한다 import numpy as np from sentence_transformers import SentenceTransformer # SentenceTransformer Version 2.2.2 # Embedding Vector 추출에 활용할 모델(distiluse-base-multilingual-cased-v1) 불러오기 model = SentenceTransformer('distiluse-base-multilingual-cased-v1') Distiluse-base-mulitlingual-cased-v1 모델도 잘 몰라서 찾아보니 (Reference #..

What is Diffusion Model Data 에 Noise 를 조금씩 더해가거나 noise 로부터 조금씩 복원해가는 과정으로 Data 를 생성하는 모델 위 그림에서 는 실제 데이터, 는 최종 Noise, 중간의 는 Data 에 Noise 가 더해진 상태의 Latent variable Forward Process → 데이터에 노이즈를 더해가는 과정 Reverse(Backward) Process → 반대로 노이즈를 제거하면서 추정해가는 과정 → 이 Reverse Process 를 활용해서 Random noise 로부터 우리가 원하는 image, text, graph 등을 생성하는 모델을 만들어내는 것 작동 원리 일부 공간에 모여 있던 분자들이 Diffusion Process 를 거쳐 전 공간에 일정하..

어떤 대회지? 2월 동안 내 코딩 실력을 조금 늘리고자 어떤 활동을 해야할지 고민하고 있을 때, 이 대회를 발견하게 되었다. 마침 연구실에서 A100 서버도 사용할 수 있겠다. 내 코드 활용 능력도 조금 키워보고자 시작해보게 되었다. 목표? 공유된 코드보다 더 높은 성능의 코드 제출하기 새로운 아이디어 한 가지 이상 적용해서 성능 향상 시켜보기 탐색 과정 원래는 공유된 코드를 바탕으로 공부를 시작하려고 했는데, 설명도 불친절하고 어떤 방식으로 아이디어를 구상해야되는지도 모르겠어서 일단 가장 먼저 한 것은 공유된 코드를 내 환경에서 실행되는지 파악하는 것. Dacon 코드 재구현 두 개의 글을 모두 실행해보았고 아이디어빌드는 그대로 진행이 되어서 생략 좀 더 점수가 높은 No Fine-tune / RAG ..

개념 설명 Dataset 의 Distribution 이 Skewed 되어 있는 (한쪽으로 쏠려있는) 상태 Head Class : 데이터셋에서 dominant sample 수를 가지고 있는 class Tail Class : 데이터셋에서 scarce sample 수를 가지고 있는 class 특히 Class Imbalance 의 Imbalance Ratio 가 극심한 특수한 경우에 LTD 를 갖는다고 표현 대표적으로 불량 감지, 질병 진단, 자율 주행 차 사고 감지, 사이버 보안 등의 분야에서 관찰가능 문제가 되는 이유 모델이 다양한 Task 에서 좋은 성능을 내기 위해서는 각 Class 의 Representation 을 잘 학습해야하는데, 모델이 head-class 에 편향되게 학습하여 tail-class ..

Motivation Very Large volumes of data being collected Web Log (Early source of data) 와 같은 데이터들이 가치가 생김 Big data : 이전 세대 데이터베이스에서 처리하는 데이터와 차별화 Volume : Much larger amounts of data stored Velocity : Much higher rates of insertions Variety : many types of data, beyond relational data Querying big data 매우 큰 Scalability 를 필요로 하는 Transaction Processing System 많은 애플리케이션들이 높은 확장성을 얻을 수 있다면 ACID 특성과 다른 ..

Transaction 다양한 데이터 항목에 Access 하고 Update 할 수 있는 프로그램 실행 단위 2가지 주요 문제 Failure of various kinds, such as hardware failures and system crashes concurrent execution of multiple transactions (다중 트랜잭션의 동시 실행) Atomicity requirement System 은 partially executed transaction 의 업데이트가 데이터베이스에 reflect 되지 않도록 보장 → 트랜잭션의 모든 작업이 성공적으로 완료되거나 전혀 실행되지 않도록 보장하는 속성 → 즉, 트랜잭션의 한 부분이 실패하면 전체 트랜잭션이 롤백되고 변경 사항이 취소 Durabi..