>その人のコメントは削除したほうがいいのでしょうか？
そのコメントが規約違反の内容と思われる場合は通報してください。
コメントの規約としては、雑談・暴言・個人情報などの書き込みは削除対象となっていますが、コメントの相手が凍結されたユーザーだからという理由で削除するという規約はありません。

>被害者の方が不快に思われることもあるでしょうか？
不快に感じるかどうかは、人それぞれです。

あなた自身に置き換えて考えてみてください。
つまり、あなた自身が被害者だったら、ということです。
あるユーザーのコメント欄に、規制されたユーザーからのコメントが寄せられていたとして、それをあなた自身不快に思うかどうか、です。

不快に感じたとして、そのコメントをどうしてほしいと思うか、そのコメントが削除されたとして、その小説の作者さんはどう思うか、もし自分が思わぬことで違反凍結された場合、過去に自分が送ったコメントに削除依頼が出されたらどう思うか、など、いろんな立場から想像してみてください。