AGB  ·  Datenschutz  ·  Impressum  







Anmelden
Nützliche Links
Registrieren
Zurück Delphi-PRAXiS Sprachen und Entwicklungsumgebungen Die Delphi-IDE Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

Ein Thema von Rollo62 · begonnen am 26. Mai 2020 · letzter Beitrag vom 28. Mai 2020
Antwort Antwort
Seite 2 von 3     12 3   
mytbo

Registriert seit: 8. Jan 2007
123 Beiträge
 
#11

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 26. Mai 2020, 17:08
Mal folgenden Versuch starten:
Erstelle eine komplette Kopie deines Sourcecode Verzeichnisses. Schreibe eine kleine Hilfsfunktion. In der mORMot Library Unit SynCommons.pas gibt es viele Funktionen zum Konvertieren.
Delphi-Quellcode:
var
  i: Integer;
  list: TFileNameDynArray;
begin
  list := FindFilesDynArrayToFileNames(FindFiles('F:\myStartDir', '*.pas', '', False, True, True));
  for i := Low(list) to High(list) do
    FileFromString(AnyTextFileToString(list[i], True), list[i]);
end;
Dann mit dem Total Commander und dem Befehl "Verzeichnisse synchronisieren" nachschauen was sich zwischen Original und Kopie geändert hat.

Bis bald...
Thomas
  Mit Zitat antworten Zitat
Benutzerbild von p80286
p80286

Registriert seit: 28. Apr 2008
Ort: Stolberg (Rhl)
6.658 Beiträge
 
Delphi 7 Personal
 
#12

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 26. Mai 2020, 23:01
Zähl doch einfach die Bytes:

Code:
Pseudocode:

type
BCarray = array [0..255] of Integer;
.....

for i:=0 to length_of_File do inc(bcarray[bytestream[i]),1);
Grundannahme ist, daß die Datei Ansi-codiert ist. In diesem Falle liegen die häufigsten

Gruß
K-H
Programme gehorchen nicht Deinen Absichten sondern Deinen Anweisungen
R.E.D retired error detector
  Mit Zitat antworten Zitat
Benutzerbild von Sherlock
Sherlock

Registriert seit: 10. Jan 2006
Ort: Offenbach
3.549 Beiträge
 
Delphi 10.3 Rio
 
#13

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 27. Mai 2020, 10:08
Sofern ich mich recht entsinne, sollte ein Formatieren des Codes durch eines der gängigen Tools (IDE oder auch GExperts) ausreichen. Es gibt da wohl auch die Option das komplette Projekt zu formatieren.

Sherlock
Geändert von Sherlock (Morgen um 16:78 Uhr) Grund: Weil ich es kann
  Mit Zitat antworten Zitat
Benutzerbild von Assarbad
Assarbad

Registriert seit: 8. Okt 2010
Ort: Frankfurt am Main
1.229 Beiträge
 
#14

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 27. Mai 2020, 11:42
Hab das jetzt mal mit ripgrep in meinem Home-Verzeichnis durchexerziert:
Code:
rg -P '[^\x00-\x7FÄÖÜäöüß]'
... du kannst andere Zeichen zwischen ß und ] einfügen.

Falls du dich mit RE noch nicht so auskennst: "[]" definiert eine Menge von Zeichen auf die der Ausdruck zutrifft, "^" negiert das, "\x00-\x7F" trifft auf alle ASCII-Zeichen (also 0..127) zu und dahinter folgen halt die Umlaute in Groß- und Kleinschreibung, sowie ß.

Was ich damit fand waren bspw. das Copyrightzeichen ©, Apostrophe ’ (statt ' auf der Tastatur), ², ●, µ, └, ─, à, í, î, ⍝, •, ‣, ⁃, χ, ⍺, ⍶, ⍵, ∇, ⍫, é, jede Menge Emojis (hunderte!) und diverse Zeichen die in einer anderen Codepage Sinn ergeben, aber nicht als UTF-8 interpretiert. Jetzt muß ich erstmal aufräumen, weil viel von dem Code eigentlich als UTF-8 daherkommen sollte.

Über 30000 Dateien in ~2 Sekunden.
Oliver
"... aber vertrauen Sie uns, die Physik stimmt." (Prof. Harald Lesch)
  Mit Zitat antworten Zitat
Rollo62

Registriert seit: 15. Mär 2007
3.150 Beiträge
 
Delphi 10.4 Sydney
 
#15

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 27. Mai 2020, 14:59
Hab das jetzt mal mit ripgrep in meinem Home-Verzeichnis durchexerziert:
Code:
rg -P '[^\x00-\x7FÄÖÜäöüß]'
... du kannst andere Zeichen zwischen ß und ] einfügen.
Ja dankesehr, ich habs mal noch etwas erweitert
Zitat:
[^\x00-\x7FÄÖÜäöüßéáÉÁÍèàìÈÀÌí°^*/'"–“”+#]
Es geht um Gedankenstrich statt Minus, um Varianten der Anführungszeichen und solcherlei Gemeinheiten.

Ich habe es mit GrepWin portable probiert, allerdings zeigt es nur die Zeilen und nicht das genaue Vorkommen des Zeichens an, leider nicht die genaue Position.

Es bleibt deshalb mühsam, ich werde mir wohl doch ein kleines Tool dazu schreiben müssen.
  Mit Zitat antworten Zitat
Benutzerbild von Sherlock
Sherlock

Registriert seit: 10. Jan 2006
Ort: Offenbach
3.549 Beiträge
 
Delphi 10.3 Rio
 
#16

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 27. Mai 2020, 15:14
Ach, es geht darum es aus didaktischen Gründen selbst zu machen. Dann ist meine Lösung natürlich Mist.

Sherlock
Geändert von Sherlock (Morgen um 16:78 Uhr) Grund: Weil ich es kann
  Mit Zitat antworten Zitat
Benutzerbild von Assarbad
Assarbad

Registriert seit: 8. Okt 2010
Ort: Frankfurt am Main
1.229 Beiträge
 
#17

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 27. Mai 2020, 17:51
Ach, es geht darum es aus didaktischen Gründen selbst zu machen. Dann ist meine Lösung natürlich Mist.


Es geht um Gedankenstrich statt Minus, um Varianten der Anführungszeichen und solcherlei Gemeinheiten.
Jupp, und alle "aktiven" Zeichen mußt du per Backslash auszeichnen ("escapen").

Ich habe es mit GrepWin portable probiert, allerdings zeigt es nur die Zeilen und nicht das genaue Vorkommen des Zeichens an, leider nicht die genaue Position.
Du meinst jetzt farblich das Vorkommen innerhalb der Zeile oder so?

Ansonsten probier doch mal PowerGREP. Das läßt sich für eine gewisse Zeit auch als Trialversion benutzen.
Oliver
"... aber vertrauen Sie uns, die Physik stimmt." (Prof. Harald Lesch)
  Mit Zitat antworten Zitat
bjuergen

Registriert seit: 9. Dez 2012
2 Beiträge
 
#18

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 27. Mai 2020, 19:28
Hallo,
wie schon ein Vorredner geschrieben hat, schau dir mal Notepad++ an, da kannst du ganze Unterverzeichnisse auch mit Regulären ausdrücken durchsuchen und bekommst alle Stellen die dem Suchbegriff entsprechen angezeigt.

Jürgen
  Mit Zitat antworten Zitat
Rollo62

Registriert seit: 15. Mär 2007
3.150 Beiträge
 
Delphi 10.4 Sydney
 
#19

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 27. Mai 2020, 20:17
Danke an Alle für die vielen Vorschläge.

Ich werde jetzt wohl eine kleine Routine in den Code bauen, damit ich das Debuggen/Loggen kann.
Das im Code Suchen scheint doch Mehraufwand zu sein.

@Sherlock:
Ja, CodeFormat wäre machbar.
Aber ich nutze das eigentlich nicht, wharscheinlich erkenne ich dann meine Programme dannach nicht wieder
So eine Taste drücke ich erst wenn ich genau weiss was hinten rauskommt,
nicht am produktiven Code.

Diese falschen Zeichen kamen wohl von Cut-and-Paste von ausländischen Seiten, Mails,
API-Referenzen, speziell aus chinesischen Dokumenten.
Die Chinesen kopieren anscheinend nicht nur Markenartikel,
sondern auch einzelne Font-Character, so das man den Unterschied nicht merkt

Ich mache normalerweise Copy-and-Paste von Code und Kommentaren zuerst in meinen ASCII-Editor,
damit Formatierungen etc. raus sind.
Leider vergesse ich das schonmal, und die IDE meckert ja auch nicht.
Vielleicht wäre ein Clipboard-Cleaner ein schönes, neues Tool für das reine ASCII Text-Kopieren ohne Reue
  Mit Zitat antworten Zitat
Benutzerbild von Sherlock
Sherlock

Registriert seit: 10. Jan 2006
Ort: Offenbach
3.549 Beiträge
 
Delphi 10.3 Rio
 
#20

AW: Womit kann man versteckte Unicode/ASCII-Zeichen im Code finden ?

  Alt 28. Mai 2020, 09:12
Der Formatter macht nix kaputt, habe ich im Rahmen unserer Validierung von externen Tools überprüft. Du kannst den Formatter ja an Deinen Stil anpassen. Ich habe mittlerweile Strg+D, Strg+S als Tastenfolge derart fest in mir drin, wenn ich einen Codeblock fertig habe, daß ich das manchmal in anderen Texteditoren anwende, was zu unerwünschten Ergebnissen führen kann.

Sherlock
Geändert von Sherlock (Morgen um 16:78 Uhr) Grund: Weil ich es kann
  Mit Zitat antworten Zitat
Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln

Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.
Trackbacks are an
Pingbacks are an
Refbacks are aus

Gehe zu:

Impressum · AGB · Datenschutz · Nach oben
Alle Zeitangaben in WEZ +2. Es ist jetzt 19:36 Uhr.
Powered by vBulletin® Copyright ©2000 - 2021, Jelsoft Enterprises Ltd.
LinkBacks Enabled by vBSEO © 2011, Crawlability, Inc.
Delphi-PRAXiS (c) 2002 - 2021 by Daniel R. Wolf