ソースコードを見た方が早いと思ったので少し調べて見ました。

SCREENの処理はこうなっています。

void ramp_blend(int type, float *r, float *g, float *b, float fac, float *col)
{
　　float tmp, facm= 1.0f-fac;
　　
　　switch (type) {
　　　　case MA_RAMP_BLEND:
　　　　　　*r = facm*(*r) + fac*col[0];
　　　　　　if(g) {
　　　　　　　　*g = facm*(*g) + fac*col[1];
　　　　　　　　*b = facm*(*b) + fac*col[2];
　　　　　　}
　　　　　　　　break;
　　　　case MA_RAMP_ADD:
　　　　　　*r += fac*col[0];
　　　　　　if(g) {
　　　　　　　　*g += fac*col[1];
　　　　　　　　*b += fac*col[2];
　　　　　　}
　　　　　　　　break;
　　　　case MA_RAMP_MULT:
　　　　　　*r *= (facm + fac*col[0]);
　　　　　　if(g) {
　　　　　　　　*g *= (facm + fac*col[1]);
　　　　　　　　*b *= (facm + fac*col[2]);
　　　　　　}
　　　　　　　　break;
　　　　case MA_RAMP_SCREEN:
　　　　　　*r = 1.0f - (facm + fac*(1.0f - col[0])) * (1.0f - *r);
　　　　　　if(g) {
　　　　　　　　*g = 1.0f - (facm + fac*(1.0f - col[1])) * (1.0f - *g);
　　　　　　　　*b = 1.0f - (facm + fac*(1.0f - col[2])) * (1.0f - *b);
　　　　　　}
　　　　　　　　break;

これを見る限りではfacは0.0-1.0の範囲を想定しているように見受けられます。
PhotoShopでも0-100%の範囲でしか設定できませんし・・・・