Me lo ha contado un pajarito: "Sacar a uno de sus casillas".

Imagen extraída de
https://es.wikipedia.org/wiki/Backgammon#/media/File:Backgammon_lg.jpg

Actualmente la RAE señala "alterar su método de vida" y "hacerle perder la paciencia" como significado de esta expresión. 

Julio Cejador y Frauca en su libro Fraseología insinúa que esta expresión parece estar tomada del ajedrez aludiendo directamente a las casillas del tablero. José Mª Iribarren, conociendo esta información, añade que más bien parece hacer referencia al tablero de las tablas reales o chaquete.

Según el Diccionario de Autoridades "casa" es cada una de los cuadrados que conforman el tablero de ajedrez o damas y unos semicírculos que hay a sendos lados en el tablero de las tablas reales donde se van colocando las piezas en función del número que marquen los dados. Y literalmente puede leerse: "Casillas. En los juegos de tablas reales es lo mismo que casas. Sacarle a uno de sus casillas. Inquietarle, hacerle perder la paciencia."