Ao conectar-se a um Mac
Este erro pode ocorrer se você estiver tentando se conectar como usuário convidado, mas esse método de autenticação não estiver disponível.
Certifique-se de que a opção Qualquer pessoa pode solicitar permissão para controlar a tela esteja ativada em Compartilhamento de Tela ou Gerenciamento Remoto em Ajustes do Sistema > Geral no Mac ao qual você está tentando se conectar.

Ao conectar-se a um PC
Este erro ocorre quando o tipo de autenticação selecionado nas configurações de conexão do Screens não é compatível com o servidor VNC do computador remoto.
Para corrigir isso, verifique quais métodos de autenticação são compatíveis com o servidor VNC remoto e certifique-se de selecionar um deles no Screens. Por exemplo, alguns servidores permitem apenas Senha VNC, enquanto outros (como o Raspberry Pi) podem também suportar RSA-AES.
Se o tipo selecionado não corresponder a uma das opções suportadas, o Screens não conseguirá conectar-se. Atualizar as configurações de conexão para usar um método de autenticação compatível deverá resolver o problema.