Moin Andy,
in der Theorie kann Dein Prozess maximal 2GB Speicher (real+virtuell) verwenden, dazu gehöret u.a. allerdings auch das Programm.
Ich vermute mal, dass Du anhand der Parameter wohl wirst welchen Speicherbedarf die Matrix haben wird, so dass Du den die Werte von vorn herein wirst einschränken können.
Die
Exception deutet auf einen Fehler in der Rekursion hin, denn ein Stack Overflow tritt bei einer Rekursion eigentlich nur dann auf, wenn die Rekursionstiefe zu gross wird.
Beispiel: Wenn Du durch einen Verzeichnisbaum gehst, entspricht die Rekursionstiefe der Anzahl der Verzeichnisebenen.
Ein wenig Code wäre hilfreich.