Genelkurmay başkanı Kenan Evren ve kuvvet komutanlarının 1979 yılının son günlerinde cumhurbaşkanına verdikleri \"uyarı mektubu\"ndan sonra askeri darbenin beklenir duruma gelmesine karşın, ana muhalefet partisi başkanı Ecevit ile tırmanan teröre (eski başbakan Nihat Erim, eski Tekel Bakanı MHP\'li Gün Sazak ve Maden-İş Genel Başkanı Kemal Türkler gibi önemli kişiliklerin suikastlarla öldürülmesi) karşı ortak bir çözüm üzerinde anlaşmaktan kaçındı. Cumhurbaşkanı Fahri Korutürk\'ün süresini doldurarak görevinden ayrılmasından (Nisan 1980) sonra ortaya çıkan cumhurbaşkanı seçim sorununun çözülmesini geciktirdi.

12 Eylül 1980\'deki askeri müdahaleyle başbakanlığı sona erdi ve Hamzakoy\'da (Gelibolu) yaklaşık bir ay gözetim altında tutuldu (13 Eylül-11 Ekim 1980). Partisi 16 Ekim 1981\'de kapatılıncaya kadar başkanlıktan ayrılmadı. 7 Kasım 1982 halkoylamasında kabul edilen 1982 Anayasası\'nın geçici 4. maddesi ile 10 yıl siyaset yasaklıları kapsamına alındı. Ancak partisinin eski yöneticileriyle bağlantılarını sürdürdü. Mayıs 1983\'te siyasi partilerin kurulmasına izin verilmesinden sonra, Demirel \"Tapulu arazime gecekondu yaptırmam\" diyerek ne askeri yönetimin Bülend Ulusu\'ya kurdurmaya çalıştığı partiye, ne Turgut Sunalp liderliğindeki Milliyetçi Demokrasi Partisi\'ne, ne de Turgut Özal liderliğindeki Anavatan Partisi\'ne (ANAP) destek verdi.[23] 20 Mayıs 1983\'te AP\'nin devamı olarak Büyük Türkiye Partisi (BTP) kuruldu. Ancak, 31 Mayıs 1983\'te AP\'nin devamı olduğu gerekçesiyle Millî Güvenlik Konseyi tarafından kapatıldı. Demirel de siyaset yasağını çiğnediği gerekçesiyle bazı CHP ve AP\'lilerle birlikte bir süre Çanakkale, Zincirbozan\'da dört ay zorunlu ikamete tabi tutuldu.

Doğru Yol Partisi (DYP) kurulunca onu destekledi. 6 Eylül 1987\'deki halk oylaması sonucunda siyaset yasağı kalkan Demirel, DYP\'nin o tarihteki genel başkanı Hüsamettin Cindoruk\'un istifası ile 24 Eylül 1987\'de DYP\'nin genel başkanlığa seçildi. 29 Kasım 1987 seçimlerinde Isparta\'dan milletvekili seçilerek TBMM\'ye girdi. 1988 ve 1990 yıllarında yapılan büyük kongrelerde DYP genel başkanlığına yeniden seçildi. Bu dönemde, 24 Ocak Kararları\'nı beraber hazırladığı Turgut Özal\'a karşı sert bir muhalefet yürüttü.