가중치 안 건드리는 망각 기법 Nullify 공개
추론 단계 조향으로 지식을 지우면서 성능은 거의 그대로 유지했다는 평가 결과다.
핵심 3줄
- 추론 중 활성화 조향으로 망각, 재훈련 불필요
- TOFU·MUSE 평가에서 기존 기법과 동등 이상
- 유지 지식 성능은 거의 손실 없이 보존
왜 중요한가
개인정보 삭제를 앞둔 국내 서비스에 실용적 대안이 될 수 있다. 다만 아직 학계 평가 단계라 상용 도입 전 검증이 필요해 보인다.
배경
모델 가중치를 전혀 고치지 않고 추론 단계에서 지식을 지우는 망각 기법 Nullify가 공개됐다. 개인정보 관련 활성화를 조향 벡터로 우회시키고, 유지 질의는 널공간 제약으로 건드리지 않는다. TOFU와 MUSE 벤치마크에서 기존 기법과 동등 이상의 망각 품질을 보이며 성능 손실은 거의 없었다. 끼워 넣어 쓰는 방식이라 연산 부담이 작지만, 아직 동료 심사를 거치지 않은 사전 공개본이다.
원문 보기
새 탭에서 열립니다. 숫자·날짜·고유명사는 원문을 기준으로 확인해 주세요.