sshd[11366] Authentication refused

sshd[11366]: Authentication refused: bad ownership or modes for directory 

Si la autenticación por llave anda fallando, pues hay que revisar en los logs del servidor remoto
De paso también hacer un ssh -vvv hostRemoto para ver que tanto sale

Finalmente el problema con esto era lo siguiente:

chmod go-w ~/
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys