본문 바로가기

분류 전체보기33

4강 Introduction to Neural Networks Backpropagation (역전파법)local gradient를 구하기 위해서는 Forward Pass(FP) 방법을 이용한다. 목적은 각 input에 대한 gradient를 구하기 위함으로 output에 얼마나 영향을 미치는지 알아보기 위해서이다. global gradient를 구하기 위해서는 Backward pass(backpropagation)을 이용한다. Chain rule을 이용하여 편미분 값을 구할 수 있다. local gradient는 네트워크의 각 층에서 개별적인 뉴런의 기울기를 의미하며, global gradient는 네트워크의 전체 출력에 대한 기울기를 의미한다. 이는 결국 Loss function에서의 기울기를 통해 계산된다. 역전파는 전체 기울기를 계산하기 위해 각 층에서 lo.. 2025. 4. 4.
3강 Loss Functions and Optimization 손실함수(loss function) 모델이 예측한 값과 실제 값 사이의 차이를 측정하는 함수로 모델의 성능을 평가하고 모델이 어떤 방향으로 개선되어야하는지 알려준다.즉, 최적의 가중치(w)를 찾기 위해 정량화 시켜주는 역할이다. 가장 일반적인 Loss function으로, 최종 Loss값은 전체 데이터셋에서 각 N개의 샘플들에 대한 Loss값의 평균이다. 1. multi-class SVM loss (hinge loss)정답 클래스의 점수가 다른 클래스들보다 마진(margin)만큼 높도록 만드는 것 정답 클래스 점수 ≥ 다른 클래스 점수 + margin → Loss 0 (벌점 없음)아니면 → (다른 클래스 점수 + margin - 정답 점수)만큼 벌점 발생이런식으로 정답이 아닌 카테고리의 모든 클래스이 벌.. 2025. 4. 4.
2강 Image classification Standford University의 cs231n: Convolutional Neural Networks for Visual Recognitionhttps://youtube.com/playlist?list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv&si=6hRJutxYjNPxEVz_ Lecture Collection | Convolutional Neural Networks for Visual Recognition (Spring 2017)Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and.. 2025. 4. 4.
[운영체제] 04. memory -b Page Replacement Algotithmspage fault가 발생했는데 page frame에 빈자리가 없는 경우, 하나를 내쫓아야 하는데 누구를 내쫓을지 결정하는 알고리즘modified page는 항상 저장되어야 함자주쓰는 page는 되도록 내쫓지 않도록 함 1. Optimal Page Replacement Algorithm가장 먼 미래에 필요하게 될 페이지를 내쫓는 것이 최적이지만 바로 실생활에서는 쓸 수 없음 2. Recently Used Page Replacement Algorithm모든 페이지는 R bit, M bit를 가짐-R bit: 페이지가 참조되었을 때(referenced)-M bit: 페이지가 수정되었을 때(modified)(R bit는 주기적으로 초기화됨)not referenc.. 2024. 11. 24.
[운영체제] 04. memory -a 모든 프로그래머가 원하는 메모리는?크고, 빠르며, 자신이 혼자 사용할 수 있는 비휘발성(nonvolatile) 메모리 메모리 계층 구조(momory hierarchy)캐시 메모리, 메인 메모리, 디스크 스토리지 등의 서로 다른 특성을 갖는 메모리들을 층 구조로 구성하는 것 캐시- megabyte, 빠르고 휘발성이며 가격이 비싸다.메인메모리- gigabyte, 중간 속도이고 휘발성이며 중간 정도의 가격을 가진다.디스크 스토리지- terabyte, 느리고 비휘발성이며 가격이 싸다. (DVD, USB 등의 모바일 스토리지도 포함됨) 메모리 관리자(memory manager)가 메모리 계층 구조 관리를 담당함-현재 사용 중인 메모리 부분을 파악하고, 프로세스들이 메모리를 필요로 하면 할당해 주고, 더 이상 사용.. 2024. 11. 7.
[운영체제] 02. scheduling 여러 개의 프로세스가 대기 상태에 있을 때, 다음에 실행할 프로세스를 스케줄러가 선택하는데이때 스케줄러의 알고리즘을 스케줄링(scheduling)이라고 한다.CPU 사용 시간에 따른 스케줄링 알고리즘이 필요하다. process behavior(a) CPU-bound process: CPU burst가 길다(b) I/0-bound process: CPU burst가 짧다. I/0를 기다리는 시간이 빈번하게 발생 When to schedule새로운 프로세스를 생성할 때프로세스를 종료할 때프로세스가 블록 상태가 되어 대기해야 할 때I/O interrupt 가 발생했을 때 clock interrupt를 다루는 방식에 따라 두 가지로 나뉨nonpreemptive(비선점): 자발적으로 CPU를 반환할 때까지 계속 .. 2024. 10. 28.

티스토리툴바