1964 kam Olah unter starke innerparteiliche Kritik. Grund dafür war eine Finanzspritze in der Höhe von einer Million
Schilling an die
FPÖ. Auch dieses Geld stammte aus Gewerkschaftskassen.
Es wird vermutet, dass Olah damit die Weichen in Richtung einer kleinen Koalition zwischen SPÖ und FPÖ stellen wollte. Die Mehrheit in der SPÖ trug diese Linie jedoch nicht mit. Ihr schien Olah zu sehr auf persönliche Macht bedacht. Unter anderem meinte
Christian Broda, Olah wolle die SPÖ zu einer „Führerpartei“ machen.
[7] Man verdächtigte den Innenminister auch, mit Geheimakten über politische Gegner zu operieren.
Auf alle tatsächlichen und vermuteten Geheimaktionen Olahs reagierte die SPÖ mit dem Ausschluss, obwohl Olah viele Anhänger hatte, die vor der Parteizentrale für ihn demonstrierten. Als formaler Grund für den Parteiausschluss wurde „Mitarbeit an nichtsozialistischen Presserzeugnissen“ genannt – Olah hatte der Tageszeitung
Die Presse ein Interview gegeben, in welchem er heftige Worte für innerparteiliche Gegner fand.
[8] Wenige Tage zuvor war bekannt geworden, dass Olahs Widersacher im Machtkampf den Wiener Psychiater
Hans Hoff beauftragt hatten, ein Gutachten über Olah zu erstellen, wobei der Arzt zum Schluss kam, dass der Innenminister
schizophren und daher unzurechnungsfähig sei. Im Interview mit der „Presse“ bezichtigte er seine Gegner wegen dieser Vorgangsweise des
Stalinismus