Vor 'ner Weile (dachte hier, aber vielleicht auch wo anders) eine Diskussion / Artikel gesehn, wo es darum ging ein Sprachmodel (ähnlich, wie man es von ChatGPT kennt) dafür zu nutzen.
Also das war es schon beeinruckend, was damit alles möglich ist.
Im Grunde ist das der Hintergrund von libpostal. Allerdings ist es kein Sprachmodel. Trainiert wurde das Modell überwiegend mit den Daten von Openstreetmap, aber natürlich sind auch alternative Ansätze möglich. Das ist auch der Grund warum man die rund 1,5 gb Daten benötigt. Es funktioniert erstaunlich gut, ist recht zuverlässig und in gewisser Weise schreibweisentolerant.
Aber damit habe ich nichts zu tun, die Arbeit und auch ein (Python) Modul zum Deduplizieren [1] von Adressen (das eine oder andere werde ich noch einbauen) haben die Macher von libpostal gemacht. Ich will, wenn ich irgendwann mit dem Training fertig bin, libpostal eigentlich einsetzen um mit Hilfe von Donut [2] Rechnungen zu parsen und anschließend die Adressen aufzuarbeiten.
cu Ha Joe
[1]
https://github.com/openvenues/lieu
[2]
https://github.com/clovaai/donut