سلام وقت بخیر 

منظور شما از اینکه به طور کامل Destroy نمیشه چی هست؟

لطفا کامل‌تر سوالتونو بیان کنید .

ولی به طور کل شما با findFragmentByTag میتوانید به عناون ارگومان پارمتر سومی که در متد add مشخص کردید بدید تا فرگمنت مروطه بر اساس اکشن شما حذف شود 

دقت کنید که باید در بک استک هم خالی بفرمایید 

چون remove نیز backstack دارد.