Am 7. August 1978 musste der heute 90-jährige Filbinger von seinem Amt als Ministerpräsident zurücktreten. Durch Recherchen des Schriftstellers Rolf Hochhuth, der den Begriff vom "furchtbaren Juristen" prägte, war Filbingers Tätigkeit als Marinestabsrichter im NS-Regime bekannt geworden.
Seinen Rücktritt kommentierte Filbinger damals mit den Worten: "Es ist mir schweres Unrecht angetan worden." Bis heute wehrt er sich gegen die Vorwürfe und sieht sich als Opfer einer Rufmordkampagne. Filbinger wird der Satz "Was damals Recht war, kann heute nicht Unrecht sein" zugeschrieben, der auch in der eigenen Partei mit Entsetzen aufgenommen wurde.
Auf seiner Homepage behauptet Filbinger, der Satz sei von Reportern aus dem Zusammenhang gerissen worden. Er habe als Richter in der Militärjustiz "mehreren Soldaten und Offizieren das Leben gerettet und sich selbst in Gefahr gebracht", heißt es auf der Seite weiter. Zudem sei er als "milder Richter bekannt" gewesen.
An Todesurteilen hat er mitgewirkt: Der Matrose Walther Gröger wurde Anfang 1945 in Oslo zum Tode verurteilt und hingerichtet - Filbinger war der Anklagevertreter. Als der Fall 1978 ans Licht kam, machte der Stuttgarter Regierungschef zunächst Erinnerungslücken geltend, später sprach er davon, an Weisungen gebunden gewesen zu sein. Im April 1945 wurden schließlich zwei Fahnenflüchtige in Abwesenheit ebenfalls zum Tode verurteilt. Filbinger verteidigte sich mit dem Argument, es habe sich um "Phantomurteile" gehandelt, die lediglich der Abschreckung gedient hätten.
Führende CDU-Politiker wie der amtierende baden-württembergische Ministerpräsident Erwin Teufel nehmen Filbinger in Schutz. Dieser sei Opfer einer Kampagne geworden, an der auch die DDR-Stasi beteiligt gewesen sei, schrieb Teufel 2003 in einem Geleitwort zu Filbingers Memoiren. Die baden-württembergische CDU steht zu der umstrittenen Berufung Filbingers in die Bundesversammlung und bezeichnet die Vorwürfe als veraltet.
Nach seinem Rücktritt gründete Filbinger das konservative Studienzentrum Weikersheim, das von Kritikern mitunter als "rechte Kaderschmiede" bezeichnet wurde. Die Einrichtung sieht ihre Aufgabe darin, eine geistige und moralische Erneuerung in der Politik voranzubringen, und ließ bei Vorträgen und Veranstaltungen unter anderem auch umstrittene Referenten auftreten. Das Simon Wiesenthal Center kritisiert, das Studienzentrum habe "das regelmäßig jenen eine Plattform" geboten, "welche die Verbrechen des Nazi-Regimes minimieren, marginalisieren oder leugnen".