Nie podałeś/aś kontekstu, ale najkrócej to będzie: "nie w tym rzecz" albo bardziej dosłownie "dla mnie to nie tylko to".
Dla przykładu: osobnik A powie "You are with me only because I'm rich!", osobnik B się nie zgadza i odpowie "It's not about that for me. You're smart, intelligent, funny..."
