Llama 3.1 8B 의 RoPE 가중치 변경이 야간 디버깅 환경에서 보이는 연남의 밤과 유사한 패턴

RoPE theta 를 50 만에서 500 만으로 10 배 늘린 순간 perplexity 는 1.2 점 하락했다. 하지만 그 감소량이 일정하지 않았고, 오히려 토큰이 4 천 개를 넘어서면 다시 불안정하게 움직였다. 초기 구간에서는 예측 오류가 줄어들었지만, 장기 세션에서 메모리 분할 경계가 명확해지지 않아 특정 구간에서 어텐션 헤드가 비정상적으로 반응했다.

### 토큰 구간별 어텐션 집중도
> laptop,neon,cyberpunk,code,terminal,window,blue-light,lama,3.1b (3.0~4.5)

특히 토큰 수 3 천에서 7 천 사이에서 주의 집중도가 급격히 떨어지는 현상을 관찰했다. 이 구간은 일반적인 모델의 맥락 유지력이 약해지기 시작하는 지점인데, theta 가 500 만으로 커지면서 고주파 성분의 처리능력은 좋아졌지만 저주파 정보 손실이 발생했다. 결과적으로 모델이 문맥을 더 오래 기억하기는 했지만, 세부 단어나 문장 구조의 연결고리가 끊어지는 현상이 나타났다.

### Neovim 인레이 힌트 충돌 원리
기존 설정에서는 에디터에서 코드 자동 완성 제안이 늦게 나오거나 깜빡이는 문제가 발생했다. 이는 모델의 내부 상태가 메모리 정렬과 맞지 않아서였다. theta 가 500 만으로 증가하면 입력 버퍼의 길이가 늘어나고, 실제 인코딩 시 사용하는 행렬 크기가 변경되면서 캐시 충돌 가능성이 높아진다. 단순히 정확도만 따지면 좋지만, 실시간 반응 속도는 오히려 느려졌다.

### 선택 후속 효과와 장기 관점
초기에는 더 높은 theta 가 정확한 답변을 줄 것이라 기대했지만, 실제로는 작업 지속 시간 동안의 안정성이 떨어졌다. 마치 연남 유흥가를 찾는 것과 비슷하다. 처음엔 화려한 분위기 (높은 점수) 를 원하지만, 밤새 작업을 한다면 소음 없이 오래 앉을 수 있는 테이블이 필요하다. 장기 사용 관점에서 볼 때 50 만 단위 설정이 야간 세션의 지속성을 더 보장한다.

결국 조건에 따라 선택해야 한다. 맥락 길이가 짧고 빠른 피드백이 필요한 상황이라면 낮은 값, 하지만 긴 문서 처리나 심층 분석이 필요하면 높은 값을 유지하는 게 낫다. 단기 효과와 장기 효과를 분리해 보니, 초기 실행 속도는 50 만이 더 좋았지만 1 시간 이상 지속되는 작업에서는 500 만이 훨씬 안정적이었다.