120만 건의 커밋을 분석한 연구가 있습니다.

120만 건의 커밋을 분석한 연구가 있습니다. 코딩 에이전트는 테스트를 짤 때 커밋의 36%가 Mock을 추가합니다. 사람은 26%입니다.

AI는 왜 Mock을 남발할까요? 다 Mock으로 격리하면 테스트를 통과시키가 쉽습니다. 그리고 하지 말라는 규칙이 어디에도 없으니까요.

이런 테스트는 리팩토링 한 번에 우수수 깨집니다. 제대로 버그를 잡지도 못합니다.

어떻게 막을지 고민됩니다. 🤔

md 파일이나 스킬에 적어놓으면 될까요? 확률적으로만 지켜집니다.

린트로 잡아야 할까요? 의미 판단이 필요한데 린트로는 쉽지 않습니다.

저는 의미를 ‘00’으로 바꾸는 식으로 해결해보았습니다.