Audio Files vergleichen und Qualität bewerten

[Namenloser]

Zitat von Perlsau:

Ich stelle mir, da ich Klangdateien bislang nie mathematisch bearbeitet habe, immer die Wellen vor, die mein uralter Soundeditor (Soundforge) grafisch darstellt: Legt man zwei solche Ausschnitte übereinander, ergeben sich Schnittmengen (gelbe Fläche im Beispiel). Anhand der Größe einer solchen Schnittmengen könnte man die Übertragungsqualität beurteilen. Wie man das in Delphi umsetzt, weiß ich nicht (obwohl ich's sicher rausfinden könnte, wenn ich müßte). Mit anderen Worten: wird eine bestimmte Anweichungstoleranz überschritten, klingeln die Alarmglocken ...

Problem dabei ist, dass selbst kleine Phasenabweichungen so schon einen riesen Unterschied machen. Deshalb ist es sinnvoller, im Frequenz-Raum (also das was man nach der FFT erhält) zu arbeiten.

[EWeiss]

Meineserachtens ist das schlichtweg unmöglich.
Es sei denn die gegebenheiten Hardware, Software sind auf beiden seiten 100% identisch.
Die anderen Dinge wie Packetverluste usw.. wurden ja schon genannt.

Die AudioDateien wären also immer unterschiedlich.
Sollte eine Datei schlechter sein wie die andere läßt sich dieser zustand der aktuellen Datei
niemals wiederholen ist also nicht reproduzierbar.

Was also soll man dann noch realitätsnah vergleichen?

gruss

[jensw_2000]

Die Bewertung der Audiodaten soll nach dem MOS (PESQ) Standard erfolgen.
Mal schauen ob es dafür fertige APIs gibt oder Open Source Projekte bei denen ich mir Anregungen holen kann.
Infomaterial findet man auf alle Fälle recht viel. Ich mache mich man ans Recherchieren....

[Perlsau]

Zitat von jensw_2000:

Die Bewertung der Audiodaten soll nach dem MOS (PESQ) Standard erfolgen.
Mal schauen ob es dafür fertige APIs gibt oder Open Source Projekte bei denen ich mir Anregungen holen kann.
Infomaterial findet man auf alle Fälle recht viel. Ich mache mich man ans Recherchieren....

Wenn ich Wikipedia richtig verstanden habe, soll es nun also doch eine Prüfung der Klangqualität werden – und das, obwohl wir doch festgestellt haben, daß sich die Qualität der in Pakete aufgeteilten Klänge zwischen Sender und Empfänger gar nicht verändern kann. Das leuchtet mir jetzt nicht ein ... Hast du das deinem Kunden mal vorgetragen? Das wäre doch völlig unnötiger Aufwand! Genau so unnötig wie der Vergleich der Dateigröße vor dem Upload beim Sender und nach dem Download beim Empfänger. Man muß doch lediglich überprüfen, ob alle gesendeten Pakete auch angekommen sind, oder nicht

[jensw_2000]

Zitat von Perlsau:

Hast du das deinem Kunden mal vorgetragen? Das wäre doch völlig unnötiger Aufwand! Genau so unnötig wie der Vergleich der Dateigröße vor dem Upload beim Sender und nach dem Download beim Empfänger. Man muß doch lediglich überprüfen, ob alle gesendeten Pakete auch angekommen sind, oder nicht

Ja. Ich habe ihm auch stundenlange Referate darüber gehalten warum man den prozentualen Verlust zwischen Original und Mitschnitt nicht zuverlässig errechnen kann oder daraus gar Rückschlüsse auf die gehörte Sprachqualität ziehen kann.
Er sagt, dass der MOS Wert eine standardisierte und anerkannte Kennzahl im VoIP Bereich ist und dass alle deren Systeme den MOS Wert als Qualitätsmerkmal nutzen.
Das ist ein alt eingesessener Telefonie und 'VoIP' Carrier. Was kann ich da entgegenhalten?
Die MOS API ist auch noch kostenpflichtig. Es gibt ein paar preiswertere Klone, die von den Werten nahe an MOS rankommen.

[Perlsau]

Zitat von jensw_2000:

Ja. Ich habe ihm auch stundenlange Referate darüber gehalten warum man den prozentualen Verlust zwischen Original und Mitschnitt nicht zuverlässig errechnen kann oder daraus gar Rückschlüsse auf die gehörte Sprachqualität ziehen kann.

Es kann beim Übertragen einer VoIP-Nachricht gar keinen Qualitätsverlust in der Klangdatei selber geben! Entweder das Paket kommt an oder es kommt nicht an. Das, was im Paket drin ist, nämlich der eine oder andere Sprachfetzen, kann beim Übertragen quasi nicht verändert werden. Verändert bzw. unvollständi gangekommene Pakete werden als fehlerhaft und somit als nicht angekommen bewertet. Das mußt du ihm verklickern!

Zitat von jensw_2000:

Er sagt, dass der MOS Wert eine standardisierte und anerkannte Kennzahl im VoIP Bereich ist und dass alle deren Systeme den MOS Wert als Qualitätsmerkmal nutzen.

Aber das hat doch absolut gar nichts mit den Übertragungsfehlern zu tun: Nachdem ein Sprachfetzen mit irgend einem Codec codiert wurde, bleibt der Inhalt derselbe. Decodiert wird erst im Modem oder im Rechner. Zwischen Sende- und Empfangsmodem kann es keinen Qualitätsverlust geben, es sei denn, daß Pakete verloren gehen, und dann fehlt eben ein Sprachfetzen.

Zitat von jensw_2000:

Das ist ein alt eingesessener Telefonie und 'VoIP' Carrier. Wasser kann ich da entgegenhalten?

Ja, ich hatte auch meine Schwierigkeiten, diese Zusammenhänge zu begreifen, bis Medium mich mit der Nase draufgestoßen hat. Liegt vielleicht auch bei mir am Alter, womöglich aber auch an der Hartnäckigkeit, mit der sich gewohnte Vorstellungen im Gehirn festsetzen und mit der Zeit ihre eigene Argumentations-Dynamik entwickeln ...

Zitat von jensw_2000:

Die MOS API ist auch noch kostenpflichtig. Es gibt ein paar preiswertere Klone, die von den Werten nahe an MOS rankommen.

Hab ich gelesen. Schon deswegen wäre es wünschenswert, wenn dein Kunde diese Zusammenhänge ebenfalls erkennt. Die Codier-Qualität (8 Bit, 8K Sample-Rate) wird ja bereits vor der Übertragung zum Ziel-Telefon festgelegt. Ab dann ändert sich der Inhalt des Klang-Pakets nicht mehr.

Ich beneide dich nicht, denn ich kenne das nur zu gut, wenn ein Kunde was völlig Unmögliches oder völlig Unnötiges von einem will ... Vielleicht will der VoIP-Betreiber dieses Prüfprogramm aber auch nur, weil er damit sein Angebot aufhübschen kann: "Wir garantieren die bestmögliche Übertragungsqualität!" oder so ...

[Medium]

PESQ scheint mir ein wirklich irre komplexes Auswertungssystem zu sein. Dafür ein paar Mark auf den Tisch zu legen finde ich voll verständlich, und letztlich muss dein Kunde das ja tragen können wollen, wenn er es verlangt.
Zusätzlich zu Perlsaus Einwänden war ich hier aber auch etwas besorgt, dass dieser Test ebenfalls auf analoge Telefonie zugeschnitten ist. War er wohl auch, jedoch soll er laut Opticom angepasst worden sein. Dennoch frage ich mich, was hierbei, ab Codierungsseite, wirklich noch groß schief gehen soll (ausser eben die Totalabrisse). Eigentlich kann man dann ja fast nur noch messen, was eventuelle analoge Streckenteile versauen, die i.A. aber denke ich doch eher vorm Codierer liegen dürften. (Sie zwischendrin beim Routen zum Empfänger hin und her zu wandeln dürfte ja keiner machen - das wäre ja fast sträflich.)

Von daher würde ich PESQ als durchaus nettes Tool ansehen, womit man am Codierer einmalig nach seiner Einrichtung (oder Änderungen) ermitteln kann, ob das was da hinten heraus kommt okay ist*. Sobald das passt, führen Fehler in den weiteren Leitungen halt doch wieder nur zu Paketverlusten. Interessant ist es sicherlich dann, wenn der Provider intern umcodiert. Würde ich für "blöd" halten, aber es kann sicherlich technische Gründe für sowas geben, die ich nicht kenne. Dannnnn könnte man einen Nutzen von dem von dir beschriebenen Stichprobenverfahren mit PESQ erwarten. Allerdings wohl eher bzgl. defekter Re-Codierer als physikalischen Leitungsproblemen.

(Mir war vor diesem Thread nicht wirklich bewusst, was für ein komplexes Thema VoIP im großen Maßstab wird. Danke für die interessante Beschäftigung damit )


*) Die Wikipedia gibt sogar schon MOS-Werte für ein paar Voice-Codecs an

Edit: Ein recht interessantes Video. Scheinbar geht es wirklich hauptsächlich um Paketverluste. Ich sehe ein, dass die Anzahl verlorener Pakete nicht zwangsweise linear und immer exakt reproduzierbar mit der Sprachqualität korreliert, doch scheint das bloße protokollieren von Paketverlusten schon eine sehr aussagekräftige Sache zu sein. Je nach dem wie kompliziert das eine oder andere umzusetzen ist, wäre das aber ggf. noch ein weiterer Ansatzpunkt. Man würde quasi die Ursache messen, nicht die Wirkung. Wobei die Wirkung schwankend ausgeprägt ist - ich würde im Allgemeinen aber zumindest für "guck da mal genauer"-Warnungen brauchbare Werte bei der Paketverlustmessung erwarten. Ist die Frage, ob die bestehenden Geräte dies zulassen.

[samso]

Zitat von Perlsau:

Es kann beim Übertragen einer VoIP-Nachricht gar keinen Qualitätsverlust in der Klangdatei selber geben!

Nun, da möchte ich zu bedenken geben, dass der Decoder ja u.U. durchaus in der Lage ist, mit Packetverlusten umzugehen und diese bis zu einem gewissen Grad zu kompensieren. Je nach dem wie gut er das macht und wie die Packetverluste verteilt sind kann sich das in der Sprachqualität unterschiedlich auswirken. Aus diesem Grund finde ich das Ansinnen des Kunden nicht ganz so idiotisch wie es zunächst den Anschein hat. Natürlich wäre es wünschenswert keine Packetverluste zu haben. Das scheint aber in der Praxis eher unrealistisch zu sein. Folglich muss man bewerten, ob die Packetverluste zu tolerieren sind. Dazu hat sich der Kunde auf ein bestimmtes standardisiertes Messverfahren eingeschossen. Er hätte vielleicht auch eine einfacheren Messwert nehmen können, etwa "Packetverluste pro Sekunde"... Da es aber für den Endnutzer letztendlich darauf ankommt eine akzeptable Sprachqualität zu haben, ist das gewählte Messverfahren vielleicht ganz sinnvoll.