티스토리

Road To Engineer

검색하기

블로그 홈

Road To Engineer

minjuuuuuun.tistory.com/m

Banner 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Four Agentic Design Patterns - Andrew Ng Agentic Design Pattern LLM 에게 한번의 Zero-shot 으로 사용 1. 수정 없이, -> Reflection 2. 외부자료 없이, -> Tool Use 3.백지 상태에서, -> Planning 4.의견을 나눌 사람 없는 상황에서 -> Multi Agent 높은 퀄리티를 기대하는 것이다이렇게 부탁하면 어떨까? → Agent Workflow글의 아웃라인을 작성하세요1. 글에서 필요한 정보가 무엇인지, 어디서 찾을지 결정하고 정보를 수집하세요2. 초안을 작성하세요3. 초안을 다시 읽고 근거 없는 주장이나 관련 없는 정보를 찾으세요4. 초안에서 발견된 부족한 부분들을 수정하세요5. 관련 전문가에게 검토를 받으세요6. 이를 반복하세요세대 업그레이드 보다 에이전트 워크플로우를 적용하는 것의 .. 공감수 2 댓글수 0 2024. 6. 24.
Dacon 도배 하자 질의 응답 처리 경진대회 (4)QLoRA + 4bit quantization + LDCC-SOLAR-10.7B(≈9GB vram used) 코드 테스트 (3) 번 코드와 별개로 테스트는 계속 해보는게 좋을 것 같아서 다른 코드를 돌려보았다… 누군가가 나에게 도망친 곳에 낙원은 없다고 했는데 진짜 그 말 대로 이거 저거 안되면 포기하고 돌아다니고 있는데 디버깅을 끈기 있게 해봐야겠다… QLoRA 랑 Quantization 을 적용한 SOLAR 모델 코드가 올라와서 해당 모델에서 내가 다운받았던 yanolja/KoSOLAR-10.7B-v0.3 으로 바꿔서 돌려보고 있다. 잠깐 bitsandbytes 라이브러리 문제가 있긴 했는데 그냥 코드 그대로 사용하니까 돌아가서 돌려보는 중이다. 2시간 정도 걸렸고 Training loss 는 다음과 같았다. Inference 를 하려고 했는데 코드 게시글에 올라온 코드를 참고하라고 원 글에 적혀있어서 사용해보려 했지만.. 공감수 0 댓글수 0 2024. 2. 20.
Dacon 도배 하자 질의 응답 처리 경진대회 (3) Ko-SOLAR 모델 테스트 및 Data Parallel Ko-SOLAR 모델을 한번 시도해보려고 있는데 생각보다 GPU 가 많이 필요하다. OutOfMemoryError: CUDA out of memory. Tried to allocate 224.00 MiB (GPU 1; 79.35 GiB total capacity; 78.18 GiB already allocated; 165.19 MiB free; 78.20 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF .. 공감수 0 댓글수 0 2024. 2. 20.
Dacon 도배 하자 질의 응답 처리 경진대회 (2) 임베딩 모델 및 베이스라인 코드 1. Embedding Vector 추출 모델 ? AI 동계 강좌를 듣고 온 사이 몇개의 코드 공유 글이 더 올라와서 해당 코드들을 참고해보려고 한다 import numpy as np from sentence_transformers import SentenceTransformer # SentenceTransformer Version 2.2.2 # Embedding Vector 추출에 활용할 모델(distiluse-base-multilingual-cased-v1) 불러오기 model = SentenceTransformer('distiluse-base-multilingual-cased-v1') Distiluse-base-mulitlingual-cased-v1 모델도 잘 몰라서 찾아보니 (Reference #.. 공감수 0 댓글수 0 2024. 2. 19.
Diffusion (1) Model Background What is Diffusion Model Data 에 Noise 를 조금씩 더해가거나 noise 로부터 조금씩 복원해가는 과정으로 Data 를 생성하는 모델 위 그림에서 는 실제 데이터, 는 최종 Noise, 중간의 는 Data 에 Noise 가 더해진 상태의 Latent variable Forward Process → 데이터에 노이즈를 더해가는 과정 Reverse(Backward) Process → 반대로 노이즈를 제거하면서 추정해가는 과정 → 이 Reverse Process 를 활용해서 Random noise 로부터 우리가 원하는 image, text, graph 등을 생성하는 모델을 만들어내는 것 작동 원리 일부 공간에 모여 있던 분자들이 Diffusion Process 를 거쳐 전 공간에 일정하.. 공감수 0 댓글수 0 2024. 2. 12.
Dacon 도배 하자 질의 응답 처리 경진대회 (1) 대회 탐색 어떤 대회지? 2월 동안 내 코딩 실력을 조금 늘리고자 어떤 활동을 해야할지 고민하고 있을 때, 이 대회를 발견하게 되었다. 마침 연구실에서 A100 서버도 사용할 수 있겠다. 내 코드 활용 능력도 조금 키워보고자 시작해보게 되었다. 목표? 공유된 코드보다 더 높은 성능의 코드 제출하기 새로운 아이디어 한 가지 이상 적용해서 성능 향상 시켜보기 탐색 과정 원래는 공유된 코드를 바탕으로 공부를 시작하려고 했는데, 설명도 불친절하고 어떤 방식으로 아이디어를 구상해야되는지도 모르겠어서 일단 가장 먼저 한 것은 공유된 코드를 내 환경에서 실행되는지 파악하는 것. Dacon 코드 재구현 두 개의 글을 모두 실행해보았고 아이디어빌드는 그대로 진행이 되어서 생략 좀 더 점수가 높은 No Fine-tune / RAG .. 공감수 0 댓글수 0 2024. 2. 12.
Long-tail Distribution Learning Survey Review 개념 설명 Dataset 의 Distribution 이 Skewed 되어 있는 (한쪽으로 쏠려있는) 상태 Head Class : 데이터셋에서 dominant sample 수를 가지고 있는 class Tail Class : 데이터셋에서 scarce sample 수를 가지고 있는 class 특히 Class Imbalance 의 Imbalance Ratio 가 극심한 특수한 경우에 LTD 를 갖는다고 표현 대표적으로 불량 감지, 질병 진단, 자율 주행 차 사고 감지, 사이버 보안 등의 분야에서 관찰가능 문제가 되는 이유 모델이 다양한 Task 에서 좋은 성능을 내기 위해서는 각 Class 의 Representation 을 잘 학습해야하는데, 모델이 head-class 에 편향되게 학습하여 tail-class .. 공감수 0 댓글수 0 2024. 2. 8.
Week 13 - BigData and Distributed Database Motivation Very Large volumes of data being collected Web Log (Early source of data) 와 같은 데이터들이 가치가 생김 Big data : 이전 세대 데이터베이스에서 처리하는 데이터와 차별화 Volume : Much larger amounts of data stored Velocity : Much higher rates of insertions Variety : many types of data, beyond relational data Querying big data 매우 큰 Scalability 를 필요로 하는 Transaction Processing System 많은 애플리케이션들이 높은 확장성을 얻을 수 있다면 ACID 특성과 다른 .. 공감수 0 댓글수 0 2024. 2. 2.
Week 12 - Transaction and Recovery Transaction 다양한 데이터 항목에 Access 하고 Update 할 수 있는 프로그램 실행 단위 2가지 주요 문제 Failure of various kinds, such as hardware failures and system crashes concurrent execution of multiple transactions (다중 트랜잭션의 동시 실행) Atomicity requirement System 은 partially executed transaction 의 업데이트가 데이터베이스에 reflect 되지 않도록 보장 → 트랜잭션의 모든 작업이 성공적으로 완료되거나 전혀 실행되지 않도록 보장하는 속성 → 즉, 트랜잭션의 한 부분이 실패하면 전체 트랜잭션이 롤백되고 변경 사항이 취소 Durabi.. 공감수 0 댓글수 0 2024. 2. 2.
Week 11 - Data Storage Structure File Organization MySQL → InnoDB : Function calls InnoDB → Linux : System call Linux → File System : Ext4_file_Write_iter File System → HDD : SATA_commands Database 는 파일 collection 으로 저장 각 파일은 레코드들의 sequence 각 File 은 하나 이상의 Page 로 구성 각 Page 는 하나 이상의 Record 로 구성 Record 는 Field 의 sequence [!note] Data Size 일반적으로 레코드 - 페이지 - 파일 순으로 크기가 커집니다. 레코드는 데이터베이스에서 가장 작은 단위 레코드는 데이터베이스 테이블의 한 행 페이지는 레코드가 저장되.. 공감수 0 댓글수 0 2024. 2. 2.
Week 14 - Normalization Normalization Creating Good relation design Instructor 와 Department 테이블을 In_dep 으로 합치면서 data 의 repetition 이 발생 Need to use null values (if we add a new department with no instructors) Decomposition 반복 문제를 피하는 방법 : 스키마를 두개로 나누느 것 하지만 모든 분해가 좋은 것은 아니다 해당 방식으로 분해한다고 가정하면 원본의 직원 관계를 복원할 수 없음 → 이것이 Lossy Decomposition Level of Normalization 데이터베이스에서 중복이 얼마나 일어나는지에 따라서 레벨이 달라짐 First Normal Form (1NF) .. 공감수 0 댓글수 0 2023. 12. 10.
Week 10 - Physical Storage Systems Database 는 essentially Data storage system Classfication of Physical Storage Media Storage Volatile (휘발성) : 전원이 꺼지면 콘텐츠 소실 Non-Volatile (비휘발성) : 전원이 꺼져도 콘텐츠 유지 보조 나 이차 저장소 포함, 전원 유지된 메인메모리 Storage 선택에 미치는 영향 데이터 접근 속도 데이터 단위 당 비용 신뢰성 (Reliability) Primary : 가장 빠르지만 휘발성이다 (cache, main memory) Secondary : 비휘발성이고 중간 정도의 access 시간 (on-line storage : flash memory, magnetic disks) Teriary : 최하위 수준, 비휘.. 공감수 0 댓글수 0 2023. 12. 10.
Week 8 - Database Design Using E-R Model Design Phase Initial Phase 잠재적으로 해당 데이터베이스 사용자의 요구사항을 파악하는 단계 ex : 도서관 데이터베이스 구축 → 사서,도서관 이용자 → 필요 데이터 : 책 관련 데이터 도서관에 있는 모든 책(제목, 저자, 장르, ISBN, 이용 가능 여부)을 추적합니다. 고객 정보(이름, 연락처, 도서관 카드 번호)를 관리합니다. 거래(도서 대출, 반납, 기한, 벌금)를 기록합니다. → 도서관 데이터에 시장 데이터가 필요없는 것처럼 필요한 데이터와 그에 대한 관계를 정립 Second Phase 데이터 모델 선택 및 데이터 모델 개념 적용 ex : 관계형 모델 개념을 적용하여 테이블과 관계를 정의하겠습니다: 1.도서 테이블: 도서 정보를 포함합니다. 2. 후원자 테이블: 후원자 정보를 .. 공감수 1 댓글수 1 2023. 12. 10.
Contrastive Chain of Thought 0. background Chain of Thought 에 대한 간단한 설명 Chain of Thought : LLM 이 질문에 대한 답을 예측할 때, 답을 추론해가는 과정을 생각할 수 있도록 Prompt 를 구성하는 방법 Few-shot 의 경우에는 정답을 풀이하는 과정을 답변과 함께 넣어주어 LLM 이 해당방식으로 문제를 풀이할 수 있도록 만듦 Zero-shot 의 경우에는 정답대신 Let’s Think step by step 과 같이 문제에 대한 정답을 추론해가며 풀 수 있도록 Prompting 을 진행 본 논문에서는 Few-shot Setting 에 집중 1. Introduction 많은 LLM 모델들이 등장한 가운데 Complex reasoning 과 같이 어려운 Task 에 대해서는 성능이 빠.. 공감수 0 댓글수 1 2023. 12. 1.
WHERE-HAVING 절 차이 기능 둘 다 데이터셋 검색을 필터링할 때 사용하는 절이다 Two clauses are used for filtering when you search the dataset to get the data what you want Having 절 그룹을 나타내는 결과 집합의 행에만 적용 → 그룹을 필터링하는데 사용 Where 절 개별 행에 적용 → 행을 필터링하는데 사용 동작 Having 절 Group by 절 뒤에 사용 → 그룹화 또는 집계 함수가 발생한 후 레코드를 필터링한다 SELECT NAME, COUNT(NAME) AS "Count" FROM ANIMAL_INS GROUP BY NAME HAVING COUNT(NAME) > 1; → 내가 갖고 있는 ANIMAL_INS 테이블을 GROUP BY 로 NAM.. 공감수 0 댓글수 0 2023. 10. 25.
Week 5 - Introduction to SQL (1) SQL Parts Week 2 - Introduction#Summary For Language DDL DML DCL TCL DDL Data Definition Language a syntax similar to a computer programming language for defining data structures, especially database schemas Create, Modify, and Remove Database objects such as tables, indexes, and Users CREATE, ALTER, DROP DML Provide the ability to query information from the database Integrity View Definition Tr.. 공감수 0 댓글수 0 2023. 10. 24.
[프로그래머스] SELECT 문제풀이 Programmers SQL Hackerrank 0. 1. 재구매가 일어난 상품과 회원 리스트 구하기 SELECT USER_ID, PRODUCT_ID FROM ONLINE_SALE GROUP BY USER_ID, PRODUCT_ID Where 절은 굳이 쓰지 않음 ONLINE_SALE 테이블에서 → FROM ONLINE_SALE 동일한 회원이 동일한 상품을 재구매한 데이터를 구하여, WHERE절 사용하지 않는다 GROUP BY USER_ID, PRODUCT_ID 로 그룹 묶은 다음 GROUP BY GROUP BY USER_ID, PRODUCT_ID HAVING count(*) > 1` 재구매한 회원 ID와 재구매한 상품 ID를 출력 SELECT USER_ID, PRODUCT_ID 하는 SQL문을 작성해주.. 공감수 0 댓글수 0 2023. 10. 23.
Week 7 - Intermediate SQL Joined Relations Takes two relations and returns as a result another relation 두 relation 의 tuple 이 일치하는 Cartesian 곱 두 테이블에 공통된 값을 사용하여 두 테이블의 열을 결합하는 데 사용 Natural Join 모든 common attributes 에 대해서 동일한 값을 가진 tuple 을 일치시킨다 각 공통 열의 복사본을 하나만 유지 → 두 쿼리는 동일한 작동 연결된 테이블 의 동일하거나 일치하는 열 값에 대한 JOIN 을 수행 연결된 테이블의 이름이 같은 columns 는 한번만 나타난다 열은 동일한 data type 이어야 한다! Join Condition ON 조건은 조인되는 관계에 대한 general pre.. 공감수 0 댓글수 1 2023. 10. 21.
Week 6 - Introduction to SQL (2) Tuple = 릴레이션을 구성하는 각각의 행을 말하며 속성의 모임 = 행, 각각의 데이터 Tuple-Record-Row 헷갈려서 찾아보니 이렇게 있더라. 어디서 사용하는가에 따라 단어 선택 SET Operations in SQL UNION UNION ALL INTERSECT INTERSECT ALL EXCEPT EXCEPT ALL ALL → 중복 데이터를 그대로 사용 UNION 2개 이상의 Select statement 를 결합한다 중복은 제거한다 연산을 적용하는 두 테이블의 열 수 와 데이터 유형이 동일해야한다 Union All → use duplications INTERSECT 두 개의 SELECT 절을 묶는다 두 절의 공통 부분 만 반환한다 연산을 적용하는 두 테이블의 열 수 와 데이터 유형이 동일.. 공감수 0 댓글수 0 2023. 10. 21.
Week 3 - Introduction to Relation Model 단어 정리 릴레이션 relation 관계형 데이터베이스는 행렬 형태를 갖는 테이블들의 모임으로 구성된다. 이러한 형태의 테이블을 릴레이션이라 부른다. 속성 attribute 릴레이션에서 각 필드(열)를 속성이라고 하고 한 릴레이션이 갖는 속성의 수를 arity라 부른다. 속성 도메인 속성이 가질 수 있는 값의 범위를 도메인(attribute domail)이라 부른다. 튜플 Tuple 릴레이션을 이루는 속성의 순서에따라 부여된 값으로 이루어진 하나의 행을 튜플 이라 부른다. Cardinality 한 릴레이션에 속한 튜플의 수를 그 릴레이션의 Cardinality라 부른다. Relation Model Approach to managing data using a structure and language Dat.. 공감수 0 댓글수 0 2023. 10. 20.
Week 2 - Introduction 1. DBMS 정의 Database Management System 특징 system software for creating and managing databases Create, Retrieve, Update, Manage 기능 제공 User Database 에 대한 Create, Maintain, Provide Access 기능을 제공하는 Software 성능 모니터링/튜닝, 백업 및 복구 기능을 제공 Contain Information about a particular enterprise Can be very Large Touch all aspects of out lives → 너무 간듯 DBMS가 관리하는 3가지 Data Database Engine - access lock modify 가능 Sc.. 공감수 0 댓글수 1 2023. 10. 20.
0 LLM Trends 컨퍼런스 리뷰 현재 어떤 분야들이 활발한지? ICLR -> Unified view 로 많은 연구가 진행 GPT 도 sparse하게 만들어보겠다 : Sparse GPT 1. 더 효율적인 LLM 을 만드는 방법 Low-rank Approximation (LoRA) : 행렬을 간소화하여 계산 효율성 증대 pruning 같은 경우도 많이 진행되고 있음 : 모델의 불필요한 가중치 제거 Prefix/prompt tuning : 모델의 결과물을 수정하기 위한 프롬프트 수정 Qunatization : 가중치 간소화로 모델 크기 축소 (LLM.int8 : 16비트와 유사한 성능 + 속도 향상) Model Distillation : reason generation 을 LLM 에게 하게 함 → LLM 의 지식을 작은 모델에 전이 참고 :.. 공감수 0 댓글수 1 2023. 9. 24.
<불편한 편의점> 멈추어야 비로소 보이는 것들이 있다. 작년 이맘때, 나는 살랑이는 바람을 맞으며 내 앞에 어떤 군 생활이 펼쳐질지 호기심 반 두려움 반을 가지고 입대했다. 군 생활은 흐르고 흘러 2022년 새해가 밝았고, 처음 계획했던 것들을 어느 정도 완성해낸 것을 보며 뿌듯한 마음으로 군 생활을 돌아보았다. 남은 절반의 기간은 더 의미 있게 보내고 싶어 작년보다 더 많은 책을 읽자고 다짐했다. 책이든 뭐든 하나라도 내 발전에 도움이 되는 것들로 채우자는 생각에 자기 계발서와 전공 관련 책들로 독서목록들을 열심히 채워나갔다. 처음 읽어나갈 때는 자기 계발서의 조언들은 이미 나의 생활루틴으로 자리 잡은 것 같았고, 전공 서적 속의 지식은 내 머릿속에 쏙 들어가 전문가가 되었다고 생각하며 뿌듯했다. 하지만 읽어나갈수록 무.. 공감수 0 댓글수 1 2022. 12. 24.
<살고싶다는 농담> 책 제목 : 살고 싶다는 농담 (허지웅 저) / 독후감 제목 : 내 삶의 자세 이 책을 처음 본 순간, 눈길을 확 잡아끄는 제목에 사로잡혔다. '작가가 어떤 삶을 살았길래 살고 싶다는 말을 농담으로 하고 싶다는 말을 농담으로 하고 싶을 만큼 힘든 삶을 살았을까?'라는 생각을 하게 만드는 제목이었다. 마침 책을 들어 작가를 확인해보니 내가 여러 영상이나 매체에서 익히 들어온 허지웅 작가였다. 이전에도 관심이 있던 작가였고, 꼭 그가 쓴 책을 읽어보고 싶었기에 보자마자 책을 손에 집어들게 되었다. 그렇게 나는 이 책과 만났다. 처음 이 책을 읽을 때는 이 작가가 이렇게 힘든 삶을 보냈는지 몰랐기에 혈액암에 걸려 항암치료를 받는 과정을 함께 따라가며 읽었다. 결국엔 암을 이겨냈지만 삶과 죽음의 경계를 넘나드는.. 공감수 0 댓글수 1 2022. 12. 24.
평범한 공대생의 군대 공략집 - 훈련소 0. 이거 빨라도 너무 빠른데... 사실 입대일이 4월 중순쯤일줄 알아서 마음의 준비를 하고 있지 않았는데 예상과는 다르게 4월 5일로 정말 빨랐다. 기술행정병 합격 발표일자가 1달전인 3월 3일 쯔음으로 기억하니까 정말 촉박했다. 천천히 주위 사람들을 만나며 마음의 준비를 하고 차근차근 가면 되겠다 하고 있었는데 약속을 잡다보니 한달이라는 시간이 정말 빨리 갔다. 학교 친구들 몇번 만나러 서울쪽에서 약속 몇번 잡고 중고등학교 친구들 만난다고 약속 몇번 잡으니까 거의 매일매일이 약속이었다. INFP/J 인 나로서는 매일매일 나가는 약속이 쫌.... 사실 쫌 많이... 힘들었다. 나는 일주일에 2~3번 정도로 나가야 좀 에너지 충전이 되는데 진짜 거의 매일 나가다 보니까 진짜 죽을뻔 했다. 2월 말에 입대.. 공감수 0 댓글수 0 2022. 9. 5.
평범한 공대생의 군대 공략집 - 입대 0.군대를 가야 하긴 하잖아.... 카투사라면 괜찮을 것 같아! 남들 다 다녀오는 군대라지만 나는 조금이라도 군생활을 뜻깊게 보내고 싶었다. 사실 제일 좋은 플랜은 카투사를 가는 것이었다. 유학을 가지 않아도 미군들과 생활하며 회화실력을 늘릴 수 있다는 것은 아주 좋은 기회라고 생각했고, 그 정도면 내 1년 반 정도는 투자해도 되지 않나 하는 생각이 들었다. 카투사에 지원하기 위해서는 토익 780점 정도를 맞아야 했고 학교에서 어학실력이 좋으면 장학금을 주는 프로그램도 있었어서 겸사겸사 토익을 봤다. 때는 19년도 여름, 점수는 865점. 장학금을 받을 수 있는 간당간당한 점수였고, 카투사를 지원하는 데 있어서도 충분한 점수였다. 카투사는 780~850 / 850~920 / 920~990 이런 식으로 실.. 공감수 1 댓글수 0 2022. 9. 2.
HTML 파일 테스트 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 7.
공업 통계학 1주차 강의 정리 보호되어 있는 글입니다. 공감수 0 댓글수 0 2020. 9. 3.
2020 보호되어 있는 글입니다. 공감수 0 댓글수 0 2020. 6. 30.
21살 그리고 반 정도쯤의 기록 나는 그냥 무난하게 취업을 해서 무난한 삶을 살 것인가 나는 좀 더 리스크를 가지더라도 새로운 방향으로 나아갈 것인가 중에서 나는 리스크를 가지더라도 나아가려고 하는 게 맞는 것 같다 //영상 맨처음 업무시간 외에도 쉬지 않고 개인적인 공부를 한다는 말 인상 깊네요. 직업을 찾으려면 업무시간 외에도 공부할 의욕이 나는 직업을 찾으세요. 이건 회사를 위해서가 아니라 본인을 위해서 하는 말입니다. 하기 싫은 일을 하고 있으면 업무시간 이후에는 그냥 쉬고 싶고 더 배우고 싶은 생각이 들지 않죠. 더 배우고 싶은 일을 찾으세요. 업무시간 이후의 시간에 스스로 배운 것들을 업무시간에 적용해보고 성장할 수 있는 직업을 찾으세요. 그렇게 남들보다 더 들인 시간과 노력이 자신을 더 성장하게 만들 겁니다. 요즘은 다들 .. 공감수 0 댓글수 0 2020. 5. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.