Das wird nicht zwangsweise mit der Lib bzw.
API zu tun haben, sondern ggf. mit der verwendeten Resamplingmethode (und deren Qualitätseinstellungen). Das schnellst-mögliche wäre es, wenn du an einen Pointer zu dem Imagebuffer kommst, und händisch eine Nearest-Neighbour-Interpolation machst. Die nächst-effizientere Variante wäre (Bi-)Linieare Interpolation, die schon deutlich schmucker ist, aber auch etwas mehr kostet (ab hier braucht's vor allem Floats). Das ganze einigermaßen smart implementiert ist Kleinkram. Teuer können auch die Umkopiererein in die jeweiligen bibliotheksspezifischen Container sein, die meist nicht ohne irgendwelche Konvertierungen/Prüfungen vonstatten gehen. Soll heissen: Je mehr du selbst das Heft in der Hand hälst, desto mehr hast du die Performance auch wirklich im Griff. APIs und Libs sind komfortabel, aber je nach Kombination kommen einen manche Operationen teurer als man zunächst vermutet.
Anders gesagt: Deine Frage ist sehr unvollständig, da zu klären ist wie du wann wo welche Daten in welcher Weise von was verrechnen lässt, und was für eine Performance dir so vorschwebt.
"When one person suffers from a delusion, it is called insanity. When a million people suffer from a delusion, it is called religion." (Richard Dawkins)