Es una invitación al silencio y a abstenerse de intervenir, para las personas que son ajenas a una discusión, conflicto o juego, debido a que no tienen parte activa en la cuestión.
Ser de palo (o su equivalente ser de madera, por lo inerte de este material) representa la idea de la marginación total de una o varias personas en un tema. Paradójicamente, la expresión ser «del» palo se difundió últimamente como equivalente de «pertenecer a la misma actividad, profesión, ideología política o preferencia deportiva».
Fuente: http://www.ciudad-real.es/varios/dichos/l.php