Afastamento, prisão e morte
D. Afonso VI preso no Palácio de Sintra, por Alfredo Roque Gameiro, 1917
Em 1667, um grupo de nobres que incluía o marquês de Marialva, o conde de Sarzedas e o conde de Vila Flor, conseguiu derrubar o conde de Castelo Melhor. A 27 de outubro a Câmara de Lisboa pediu a convocação imediata das Cortes, enquanto Castelo Melhor se exilava num mosteiro de arrábidos perto de Torres Vedras, exilando-se depois nas cortes de Saboia, França e da Inglaterra (sua situação só se desanuviou depois da morte da Rainha em 1683). A Rainha deixou o Paço em 21 de Novembro, recolhendo-se ao convento da Esperança em clausura com suas damas e oficiais, no que se considerou grande escândalo.
Após seu afastamento em 1667 Afonso foi compelido por sua mulher, Maria Francisca, e irmão, Pedro, a abdicar do trono no dia 22 de Novembro. O infante Pedro justificou a tomada do governo pela exigência do «Senado lisboeta». Guardou apenas o título de «curador» e governador do Reino. Desde 26 de novembro de 1667 os documentos vêm assinados pelo «Infante» e só depois de Cortes em 1668 passaram a sê-lo pelo «Príncipe». Fez membros do Conselho de Estado o duque de Cadaval, Nuno Álvares Pereira de Melo, D. Vasco Luís da Gama, marquês de Nisa. escolheu como Presidente da Mesa do Desembargo do Paço o marquês de Gouveia, João da Silva, e como vedor da Fazenda o velho general António Luís de Meneses, marquês de Marialva. Eram todos elementos ligados ao «partido francês», vitoriosos sobre a facção «inglesa» comandada por Castelo Melhor.
Afonso foi banido para a ilha Terceira, nos Açores. Tais actos foram sancionados pelas Cortes de Lisboa de 1668.
Instalado na ilha Terceira, ali permaneceu ao longo de cinco anos. Viveu caprichoso, em turbulência constante e com grande violência física, nem mesmo poupava os criados. Em fins de 1673 descobriu-se em Lisboa uma conspiração para favorecer seu regresso. Diversos conspiradores foram mesmo enforcados no Rossio. O Rei, mandado vir, chegou a Lisboa em 14 de setembro de 1674, sendo conduzido ao Palácio de Sintra. Durante nove anos viveu ali, fechado em seus aposentos, com servidores da inteira confiança do duque de Cadaval. No início de 1683 foi sangrado, tomou purgas, em 30 de maio teve agastamentos, com dores, na manhã de 12 de setembro teve um acidente apoplético e ficou sem fala, morrendo logo. Montalvão Machado, em Causas de Morte dos Reis Portugueses, Lisboa, 1974, diz que o rei morreu de tuberculose pulmonar, como outros filhos de João IV de Portugal e a princesa Luísa de Gusmão. A sua morte sudcitou suspeitas de envenenamento, nunca provadas.
O rei morreu após 9 anos de prisão no quarto a que foi dado o seu nome do Palácio Real de Sintra. A morte ocorreu quando o prisioneiro saía do quarto para se dirigir à capela do Palácio.
Está sepultado, juntamente com o seu irmão Pedro II de Portugal e Maria Francisca, no Panteão dos Braganças, na cidade de Lisboa.