遺産の一部だけ放棄することはできますか？

できません。
最初から相続人ではなかったことになるため、プラスの財産から負債まで一切を放棄します。
なお、原則として、相続を知ってから3か月以内に家庭裁判所に申し立てる必要があります。