tkatoさん、こんにちは。僕はずっとLinuxで使ってます。

詳しい環境（Linuxのディストリ、マシンのCPUなど）を教えていただけますか？

インストールの方法はいくつかあるのですが、i386系のCPU（Pentium/Celeron/Athlon/Duronなど）を使っているのでしたら一番簡単なのはblender.orgからLinux用のバイナリ(staticじゃない方)をダウンロードし解凍、その中のblenderというファイルを実行するだけです。

ただしおっしゃるようにBlenderはX上でしか実行できません。XはXFree86でもX.orgでも商用Xでもなんでもいいと思います。もちろんウィンドウマネージャはなんでもかまいません。