진강이의 성장일지

4. 트랜스포머 기본 구조4.1 트랜스포머의 동작 프로세스지금까지 배운 어텐션의 기본 원리를 바탕으로 트랜스포머의 전체 그림을 이해해보자. 트랜스포머가 텍스트를 처리하려면 먼저 텍스트를 토큰 ID의 열로 변환해야 한다. 이때 토크나이저를 이용한다.이렇게 변환한 ID열을 트랜스포머에 입력한다. 위 그림은 트랜스포머의 구조를 최대한 단순하게 표현한 그림이다. 그림에서 보듯, 트랜스포머의 처리 과정은 크게 3단계로 나뉜다. 1. 임베딩 : 토큰 ID열을 벡터 표현으로 변환2. 어텐션과 FFN : 어텐션과 Feed-Forward Network 을 거치며 토큰의 벡터를 갱신3. 선형 변환과 소프트맥스 : 선형 변환으로 각 토큰 벡터의 차원을 어휘 크기에 맞게 바꾸고, 소프트맥스 함수로 확률 분포 계산 각 단..

** 딥러닝부터 시작하는 딥러닝6 를 읽고 작성되었습니다. 본문의 그림은 생성형 AI의 도움을 받았습니다.트랜스포머의 구조를 이해하고 직접 구현해보자.이번 장에서는 먼저 트랜스포머의 핵심인 '어텐션'을 배운다.어텐션의 구조와 트랜스포머의 구성 요소를 차례로 알아보자.1. 어텐션 기본 원리1.1 하드 딕셔너리(파이썬 딕셔너리)어텐션은 '소프트 딕셔너리'라고 할 수 있다. 이 개념을 이해하기 위해서는 '하드 딕셔너리'의 예인 파이썬 딕셔너리를 되짚어보자. 딕셔너리는 잘 알다싶이 '연관 배열'이나 '해시 테이블'이라고도 불리며 Key와 Value를 쌍으로 묶어 저장하는 자료구조이다. d = { 'apple': 100, 'banana': 200, 'cherry': 300, 'durian': 40..

머신러닝 공부용 자료

이더넷우리가 오늘 공부할 부분은 물리 계층과 데이터 링크 계층이다. 물리 계층과 데이터 링크 계층은 서로 밀접하게 연관되어 있다.오늘날의 두 계층은 이더넷이라는 공통된 기술이 사용되기 때문이다. 이더넷은 현대 LAN, 특히 유선 LAN 환경에서 가장 대중적으로 사용되는 기술이다. 컴퓨터끼리 정보를 주고 받으려면 가장 먼저 케이블과 같은 1) 통신 매체가 필요하다. 그리고 그 2) 통신 매체를 통해 정보를 송수신하는 방법이 정해져 있어야 한다. 이더넷은 다양한 통신 매체의 규격들과, 송수신되는 프레임의 형태, 프레임을 주고받는 방법 등이 정의된 네트워크 기술이다. 오늘날의 유선 LAN환경은 대부분 이더넷 기반으로 구성된다. 우리가 유선 LAN 환경을 구축했다면, 물리 계층에서는 이더넷 규격 케이블, 데..

경제 책 추천에 빠짐없이 언급되는 책이 있다. 바로 2012년 방송되었던 EBS 다큐프라임 '자본주의'의 내용을 더 쉽게 글로 풀어 쓴 책이다. 벌써 10년도 다 된 다큐지만, 시장구조, 돈의 흐름, 자본주의의 본질이 크게 바뀌지 않아 지금 보아도 전혀 무방한 내용이다. https://youtu.be/FUXT_m6nzhg?si=bcd8v-z1HU9oY48B[EBS 자본주의]Part 1 '빚'이 있어야 돌아가는 사회, 자본주의의 비밀책의 초반부는 자본주의의 가장 불편한 진실을 정면으로 다룬다.우리가 살아가는 사회는 ‘돈으로 돌아가는 사회’가 아니라 ‘돈을 끊임없이 만들어내야만 유지되는 사회’라는 점이다.물가가 계속해서 오르는 비밀은 바로 '돈의 양'이 많아졌기 때문이다.돈의 양이 많아지면 돈의 가치는 하락..

백엔드 개발자에게 진짜 필요한 능력은 데이터가 내 서버로 어떻게 들어오고(Request), 처리된 결과가 어떻게 사용자에게 전달되는지(Response) 그 흐름을 장악하는 것이다. 사용자가 입력한 값이 어떤 경로로 서버에 도착하는지,그리고 서버에서 만든 결과가 어떤 형태로 다시 사용자에게 전달되는지,이 흐름을 정확히 이해하는 게 핵심이다. 이번 포스팅은 프론트엔드와 백엔드가 데이터를 주고받는 구조를 이해하기 위해 작성되었다. 이 글을 읽고 나면 다음 5가지를 실무에 바로 적용할 수 있다.Form 태그와 파라미터 바인딩: HTML의 name 속성이 백엔드 변수와 어떻게 매핑되는지 이해한다.JSON 데이터 포맷: 엄격한 JSON 문법을 익히고, 직렬화/역직렬화 개념을 잡는다.4가지 상호작용 패턴: URL,..