[OS] 캐시의 지역성

캐시 메모리(Cache Memory)

캐시 메모리는 속도가 빠른 장치와 느린 장치간의 속도차에 따른 병목 현상을 줄이기 위한 범용 메모리이다. 

주기억장치에서 자주 사용하는 프로그램과 데이터를 저장해두어 처리 속도를 빠르게 한다.
여기서 캐시 기억장치와 주기억장치 사이에서 정보를 옮기는 것을 사상(Mapping, 매핑)이라고 한다.

 

Mapping의 3가지 방법

 

직접 매핑(Direct Mapping)
주기억장치의 블록들이 지정된 한 개의 캐시 라인으로만 사상될 수 있는 매핑 방법.
간단하고 구현하는 비용이 적다는 장점이 있지만 캐시 적중률이 낮아질 수 있다.

연관 매핑(Associate Mapping)
직접 매핑 방식의 단점을 보완한 방식.
모든 태그들을 병렬로 검사하기 때문에 복잡하고 비용이 높다는 단점 때문에 거의 사용하지 않는다.

 

집합 연관 매핑(Set Associate Mapping)
직접 매핑과 연관 매핑의 장점만을 취한 방식. 정해진 블록의 집합내 어디서든 매핑이 가능하다.
캐시메모리는 병목현상을 줄이기 위해 CPU가 어떤 데이터를 원하는지 어느 정도 예측할 수 있어야 한다. 캐시 메모리에 CPU가 이후에 참조할, 필요 있는 정보가 어느 정도 들어있느냐에 따라 캐시의 성능이 좌우되기 때문이다.

캐시메모리는 주기억장치와 CPU사이에 위치해 있으며, 

메모리 계층 구조에서 가장 빠른 소자로서 처리속도가 거의 CPU의 속도와 비슷하다.
이러한 캐시메모리를 사용하면 주기억장치를 접근하는 횟수가 줄어들어 컴퓨터의 처리속도가 향상된다.

 

 

 

캐시의 지역성(Locality of Reference)

   - 캐시 적중(Cache Hit) : CPU가 액세스하려는 데이터가 이미 캐시에 적재되어있는 상태.
   - 캐시 미스(Cache Miss) : CPU가 액세스하려는 데이터가 캐시에 없어 주기억장치로부터 인출해 와야하는 상태.
   - 캐시 적중률(Cache Hit rate) : CPU가 원하는 데이터가 캐시에 있을 확률

 

캐시의 지역성은 크게 시간 지역성(Temporal Locality), 공간 지역성(Spatial Locality) 두 가지로 나뉜다.

캐시가 효율적으로 동작하려면 캐시의 적중율(Hit-rate)를 극대화 시켜야 한다.

적중율을 극대화 시키기 위해 시간 지역성, 공간 지역성 방식을 골라서 사용해야 한다.

시간 지역성(Temporal Locality)
   - 최근에 접근한 메모리 위치에 다시 접근할 확률이 높다는 개념이다.
   - 한 번 접근한 데이터를 캐시에 저장해두면 다음에 빠르게 접근할 수 있다.

   - 상대적으로 작은 크기의 캐시를 사용해도 효율성을 꾀할 수 있다.

공간 지역성(Spatial Locality)
   - 공간 지역성은 한 번 접근한 메모리 주소 근처의 주소에 다시 접근할 확률이 높다는 개념이다.
   - 배열이나 데이터 구조의 연속적인 요소에 순차적으로 접근하는 경우, 해당 데이터 전부를 캐시에 저장하는 방법

   - CPU 캐시나 디스크 캐시의 경우 한 메모리 주소에 접근할 때 그 주소뿐 아니라 해당 블록을 전부 캐시에 가져오게 된다

   - 이때 메모리 주소를 오름차순이나 내림차순으로 접근한다면, 캐시에 이미 저장된 같은 블록의 데이터를 접근하게 되므로 캐시의 효율성이 크게 향상된다.

 

 

 

Caching line
캐시(cache)는 프로세서 가까이에 위치하면서 빈번하게 사용되는 데이터를 저장해두는 장소이다. 하지만 캐시가 아무리 가까이 있더라도 찾고자 하는 데이터가 어느 곳에 저장되어 있는지 몰라 모든 데이터를 순회해야 한다면 시간이 오래걸릴 것이다.
따라서, 캐시에 목적 데이터가 저장되어 있다면 바로 접근하여 출력할 수 있어야 캐시를 효율적으로 활용할 수 있을것이다.

이러한 이유 때문에 캐시에 데이터를 저장할 때 특정 자료구조를 사용하여 '묶음'으로 저장하게 되는데 이를 캐싱라인(Caching Line) 이라고 한다.