Hallo,
vielleicht ist FFMpeg das richtige für dich. Ich empfehle dir aber nicht direkt den FFMpeg-Pascal Header zu verwenden, sondern erst eine Wrapperbibliothek, die auf deine Zwecke zugeschnitten ist in C zu schneiden.
Meine eigene FFMpeg-Wrapperbibliothek
Acinerella kann leider momentan Videos nur wiedergeben. Aber vielleicht möchtest du diese Bibliothek ja um Encodierfähigkeiten erweitern.