Blender 2.43を使用しています。

Video Sequence Editorからwavを読み込んだ場合は、Video Sequence Editorからストリップを削除すると、○がついて削除対象になりますが、
Buttons Window->Scene(F10)->Sound block buttonsからSound blockをOPEN NEWで読み込んだとき、どうやっても削除対象にならず困っています。

Video Sequence Editorにいったん追加して削除すれば削除対象になるかと思ったのですが、Video Sequence Editorからは、すでにあるSound blockを追加できないようです。

UI上からはどうしようもないと思いますので、一旦保存した後、New([Ctrl]+[X])し、その後 Append([Shift]+[F1])して、Scene 指定して読み込んでみて下さい(もちろん New した時点の Scene は後で削除する必要があります)。

あれは確か Game Engine 用だったと思うのですが、この辺のメンテをする人がおらず、放置されたまんまです。
通常のアニメーション用には Sequence Editor を使用して下さい。

この辺はあとで FAQにも追加させていただきます。

yamyamさんの書かれた方法で削除できました。

Append元のファイルにすぐには上書きできないのですが（Appendしているのだから当然といえば当然ですが）、
別ファイルに保存したあと読み直せば普通に上書きできました。

追記。Material などのように、単に Sequence Editor などから呼ばれていないと、その Sound Block は保存後に削除されるようです。

FAQ にも追加しました。