Zumindest was h264 angeht, denke ich, dass du besser damit fährst, ffmpeg statisch zu linken als den ganzen Kram neu zu implementieren.
Das Projekt klingt dann aber immer noch sehr ehrgeizig. Ich mach ja selber oft (immer?) den Fehler, dass ich anfange, irgendein Programm zu schreiben, bis ich dann merke, dass ich ein bestimmtes Framework oder eine Bibliothek bräuchte, die es noch nicht gibt (oder nicht so, wie ich sie mir vorstelle), sodass ich diese dann selbst anfange zu schreiben – und am Ende wird das das Hauptprojekt, und das, was ich eigentlich machen wollte, wird nie fertig. Das ganze meistens auch noch rekursiv...
(Das war neulich mein Stack: Map-Editor → Grafikbibliothek mit optionaler Hardwarebeschleunigung → Polygon-Triagonalisierung → balancierte Bäume)
Zumindest lernt man viel dabei. Aber man bringt leider nie was zu Ende...
Das hier klingt für mich auch nach so einem Kandidaten.