また、長い拘束日数が理由での辞退も多い。裁判員裁判にかかる日数は、7日以内が全体の4分の3だが、中には、実審理が100日以上、最長207日（！）にも及ぶ長期化裁判もある。
それに対し、瀬木教授は、そもそも裁判員裁判の数が多すぎると指摘する。
「被告人が罪を認めているケースでも裁判員裁判を開いていますが、そんな必要はないと思います。量刑を決めるだけのために、多数の裁判員を拘束すべきではない。被告人が無罪を主張していて、かつ裁判員裁判を希望している場合にのみ、裁判員裁判を開くようにする。裁判日数が長いことが議論されていますが、制度の根幹に関わることである以上、短くすることは難しい。
であれば、まず裁判員裁判の対象を先のように限ってその数を減らす。そうすれば少々日数が長くなっても“お付き合いください”と言いやすく、理解も得られやすい」
肉体的な負担だけでなく、心理的な負担も裁判員への抵抗感につながっている。裁判では場合によっては、凄惨な事件現場や遺体の写真などを見なければならない場合がある。ショッキングな写真を見たときの衝撃でPTSD（心的外傷後ストレス傷害）になった裁判員もいるほどだ。
“判決破棄”への大きな不満
「私自身はごくわずかな期間、刑事裁判を担当しましたが、証拠写真の中には、しばらく頭から離れなかったものもある。そうした写真を神経の繊細な人が見たらショックを受けるのは、少し考えただけでも想像がつく。アメリカでは、そうした写真を見ることで感情的になって、陪審員の公正な判断を妨げるという理由から、特別な必要性がなければ見せません」（瀬木教授）
さらに言われているのが、裁判員裁判で出た判決の破棄や差し戻し。裁判員たちが出した判決が、高裁や最高裁で破棄されたり、差し戻されたりするケースが目につく。
“市民の感覚（常識）を裁判に持ち込む”という、そもそもの導入意図に反しているのではないか、と不満を抱いている人も決して少なくない。これにも瀬木教授は手厳しい。
「上級審で量刑が重すぎるとして破棄するというのは、制度全体を見れば、マッチポンプです。量刑に裁判員を関与させれば重くなるだろうということは、法曹関係者の多数が予測していたことだからです。
ところが、そのとおりになったら、今度は“重罰化の傾向がある”といって、上級審で破棄してしまうわけですよね。これでは国民を愚弄しているととられても、しかたないのでは、と思います」
