SynHighlighter erweitern

[mkinzler]

Ein Hash sollte eigentlich eindeutig sein (nicht eineindeutig, aber eindeutig)

[Bjoerk]

Geh mal in deinen Link von oben, dann ins ParentDir und lad dir mal das ganze Project runter. Scheint eine völlig neue Version zu sein. Wenn ich den Code richtig verstanden habe, dann wird das dort jetzt ganz anders gelöst (über hardcodierte functions). Da sollten sich doch einfach neue hinzufügen lassen?

[Codehunter]

Also ich kenne den SynEdit schon recht lange und recht gut. Historisch war es so, dass zuerst die ANSI-Version da war und dort waren die Highlighter hartcodiert. Seit der Unicode-Version wurden die ein "bisschen" flexibler. Da gibts jetzt auch einen UniSynHighlighter, der variabel anpassbar ist zur Designtime über Properties. Aber der ist nicht 100% auf die Eigenheiten der einzelnen Sprachen anpassbar, sodass manche Feinheiten unter den Tisch fallen. Darum immernoch die spezialisieren Highlighter.

Ich denke, die brauchten einen ganz simplen Hash-Algo, der kurze INT-Hashes liefert die man als Index in einem Array missbrauchen kann. Der jetzige liefert aber nur eine Streubreite von 0..136, was bei knapp 100 Keywords nicht die Wucht ist.

Wahrscheinlich wäre es das beste, die ganze Sache mal komplett umzustricken. Wird aber wohl erst nächste Woche. Vielleicht hat ja einer von euch am Wochenende etwas Langeweile?

@shmia: Parallel zu Deiner Antwort kam ich fast zum selben Ergebnis. Hier der Source zu meinem Hash-Pascalcode-Generator:

Delphi-Quellcode:

procedure TForm1.Button1Click(Sender: TObject);
type
  KWRec = record
    Keyword: String;
    Hash: Integer;
  end;
  KWList = array of KWRec;

var
  I, J, iNumWords, iMaxHash: Integer;
  S, S2: String;
  C: Char;
  L: KWList;
  Indices: array of Integer;
  SL: TStringList;

begin
  I:= 0;
  iNumWords:= 0;
  iMaxHash:= 0;
  Memo1.Lines.BeginUpdate;
  try
    while I < Memo1.Lines.Count do begin
      S:= Memo1.Lines[I];
      S2:= '';
      for J:= 1 to Length(S) do begin
        C:= S[J];
        if IsIdentChar(C) then S2:= S2 + C;
      end;
      if Trim(S2) = '' then Memo1.Lines.Delete(I) else begin
        Memo1.Lines[I]:= S2;
        Inc(I);
        Inc(iNumWords);
      end;
    end;
    SL:= TStringList.Create;
    try
      SL.Assign(Memo1.Lines);
      SL.Sort;
      Memo1.Lines.Assign(SL);
    finally
      SL.Free;
    end;
    SetLength(L, iNumWords);
    for I:= Low(L) to High(L) do begin
      S:= Memo1.Lines[I];
      L[I].Keyword:= S;
      L[I].Hash:= HashKey(PChar(S));
      iMaxHash:= Max(L[I].Hash, iMaxHash);
    end;
    SetLength(Indices, iMaxHash + 1);
    for I:= Low(Indices) to High(Indices) do begin
      Indices[I]:= -1;
    end;
    Memo2.Lines.BeginUpdate;
    try
    Memo2.Lines.Add('  KeyWords: array[0..' + IntToStr(iNumWords - 1) + '] of UnicodeString = (');
      for I:= Low(L) to High(L) do begin
        Indices[L[I].Hash]:= I;
        S:= '    ''' + L[I].Keyword + '''';
        S:= S + StringOfChar(' ', Max(25 - Length(S), 0));
        S:= S + '{ Index: ' + IntToStr(I);
        S:= S + StringOfChar(' ', Max(35 - Length(S), 0));
        S:= S + ' | Hash: ' + IntToStr(L[I].Hash);
        S:= S + StringOfChar(' ', Max(49 - Length(S), 0));
        S:= S + '}';
        if I < High(L) then S:= S + ',';
        Memo2.Lines.Add(S);
      end;
      Memo2.Lines.Add('  );');
      Memo2.Lines.Add('');
      Memo2.Lines.Add('  KeyIndices: array[0..' + IntToStr(iMaxHash) + '] of Integer = (');
      for I:= Low(Indices) to High(Indices) do begin
        S:= '    ' + IntToStr(Indices[I]);
        S:= S + StringOfChar(' ', Max(8 - Length(S), 0));
        S:= S + ' { Index: ' + IntToStr(I) + ' }';
        if I < High(Indices) then S:= S + ',';
        Memo2.Lines.Add(S);
      end;
      Memo2.Lines.Add('  );');
    finally
      Memo2.Lines.EndUpdate;
    end;
  finally
    Memo1.Lines.EndUpdate;
  end;
end;

Schönes WE
Cody

[stOrM]

Ich habs grad gelesen eigentlich auch nur weil ich selber gerade etwas am Grübeln bin darüber, wie man dem Ding CSS3 sowie HTML5 beibringen könnte

Also wenn du da was strickst, (am coolsten waere irgendwas automatisiertes was dir am Ende halt den Highlighter komplett rausspucken würde) Dann sag mal bescheid!

Schönes WE

[Codehunter]

Zitat von stOrM:

Also wenn du da was strickst, (am coolsten waere irgendwas automatisiertes was dir am Ende halt den Highlighter komplett rausspucken würde) Dann sag mal bescheid! Schönes WE

Naja, sowas wie einen kompletten Highlighter-Generator wird es nie geben. Zum einen hat jede Sprache ihre eigene Logik was Syntax angeht (bei PHP z.B. die Möglichkeit, Variablen direkt in Strings einzubetten, wenn diese in doppelte Hochkommas (Double-Quote) eingeschlossen sind. Da könnte man theoretisch ein AttributeSet für solche eingebetteten Variablen machen.

Zum zweiten sind Highlighter immer auch ein Stück weit dem persönlichen Geschmack des Entwicklers unterworfen, wie viele Features man einbauen möchte. Am obigen Beispiel könnte man auch sagen, eingebettete Variablen müssen nicht extra formatiert werden.

Was aber richtig ist und wo ich zustimme, alle Arbeiten an der SynEdit-Komponente nützen nichts, wenn die Highlighter die verfügbar sind, nur steinalte Sprachen beherrschen. Da muss man dringend nachlegen. Ich bin nämlich immernoch der Meinung, SynEdit ist leistungsfähiger als Scintilla, zumindest in der Delphi-Welt. Niemand würde einen Texteditor zum Entwickeln einsetzen wenn dieser die betreffende Sprache nicht unterstützt.

Leider wird an der Kernkomponente nur wenig gemacht. Es gab einige vielversprechende Forks (Mystix und Letterpress) doch beide sind inzwischen wieder eingeschlafen.

Für HTML5 müsste es relativ einfach sein. Denn das basiert ja nicht auf XHTML sondern dem älteren Standard HTML4. Und für den gibts ja schon einen Highlighter. Ich denke, da muss man auch nur ein paar Keywords ergänzen und einige wenige semantische Erweiterungen. Ebenso bei CSS3. Wobei man hier ehrlicherweise sagen muss, dass der verfügbare CSS-Highlighter noch nicht mal CSS2 komplett unterstützt

Für einige Sprachen könnte ich gar keinen Highlighter schreiben, denn manche kenne ich gar nicht. Man muss schon ein bisschen in der jeweiligen Sprache zuhause sein, sonst bekommt man keinen gescheiten Highlighter zusammen.

[stOrM]

@CodeHunter
Da geb ich dir wohl Recht, bei dem was du sagst. Ist halt irgendwie sehr Schade das da nichts großartig weiterentwickelt wird, ich mag die Komponente eigentlich recht gerne.

Was den CSS Highlighter z.B. angeht, was ich vermisse sind solche Sachen wie z.B. bei Sublime Text zu finden sind Beispiel:

Code:

body {
  color: #red;
  background: rgba(0, 0, 0, 0.5);
}

Die Farbwerte werden bei Sublime Text z.b. unterschiedlich angezeigt bei dem Highlighter. #red besitzt eine andere Farbe wie auch RGBA Values. Dann wird weiterhin noch unterschieden ob Hex oder HLS werden ebenfalls noch unterschiedlich dargestellt. Prefixes kennt SynEdit Highlighter gar keine. Gut war zu der Zeit wohl auch noch kein Thema...

Naja und noch diverse andere Sachen die heute sagen wir mal Standart sind.
Problem im Moment ist halt das der CSS Highlighter quasi so gut wie alles in einer Farbe darstellt bis auf wenige Ausnahmen. Da macht highlighten wenig Sinn, da kann man direkt ein Memo nehmen und bei der Textfarbe schwarz auf weiß bleiben

Leider hab ich auch keine Ahnung wie man die Highlighter korrekt erweitert, weil das was du schreibst mit den Hashes usw. das klingt nicht gerade nach, wir erweitern mal eben kurz

[Codehunter]

@stOrM: Jetzt muss ich doch mal fragen, welche Version vom SynEdit du benutzt. Immernoch die ANSI oder bist du schon auf Unicode umgestiegen? Denn in der Unicode-Version vom SynHighlighterCSS hat sich in Sachen CSS3 schon einiges getan. Wobei das was du beschreibst, sicher noch über die Fähigkeiten hinaus geht die im Moment implementiert sind. Aber machbar wärs sicher.

[Bjoerk]

Ich bleib' bei #2, schmeiß die KeyIndices raus.

Delphi-Quellcode:

type
  TIdentFuncTableFunc = type TtkTokenKind;

...


function TSynPHPSyn.HashKey(Str: PWideChar): integer;
var
  I: integer;
  S: AnsiString;
begin
  Result := -1;
  S:= LowerCase(AnsiString(WideCharToString(Str)));
  for I:= 0 to Length(KeyWords) - 1 do
    if AnsiString(KeyWords[I]) = S then
    begin
      Result := I;
      Break;
    end;
  // fStringLen ???
  // fToIdent ???
  // sind keine Variablen der unit ???
end;

function TSynPHPSyn.IdentKind(MayBe: PWideChar): TtkTokenKind;
var
  Key: integer;
begin
  Key := HashKey(MayBe);
  if HashKey(MayBe) > -1 then
    Result := fIdentFuncTable[Key]
  else
    Result := tkIdentifier;
end;

procedure TSynPHPSyn.InitIdent;
var
  I: Integer;
begin
  for I := Low(fIdentFuncTable) to High(fIdentFuncTable) do
    if I > High(KeyWords) then
      ...
    else
      ...
end;

...

[shmia]

Also ich denke die Hash-Funktion ist schon ok.
Wenn du die Hash-Tabelle (KeyIndices) neu aufbauen möchtest, musst du so vorgehen:
Schreibe ein eigenes Programm für die Ermittlung der Hashwerte.

1.) Array KeyWords um deine Einträge erweitern
2.) Alle Einträge in KeyIndices auf -1 setzen
var // var nicht const !
KeyIndices: array[0..136] of Integer;
3.) Für jeden String in KeyWords berechnest du den Hashwert
Der Hashwert liegt zwischen 0 und 136
Zusätzlich zum Hashwert braucht man noch den Index
Der Index für 'and' ist z.B. 2.
4.) Prüfe ob KeyIndices[Hashwert] = -1 ist
5a.) Falls ja KeyIndices[Hashwert] := Index
5b.) Falls nein erhöhe den Hashwert wie folgt und prüfe nochmal
Hashwert := (Hashwert + 1) mod 137;

Die Punkte 5a und 5b lassen sich mit einer While-Schleife codieren

Delphi-Quellcode:

While KeyIndices[Hashwert] <> -1 do
  Hashwert := (Hashwert + 1) mod 137;
KeyIndices[Hashwert] := Index;

6.) nachdem alle Keywords gehashed wurden lässt du dir den Inhalt
von KeyIndices[] anzeigen (in ein TMemo schreiben, damit du die Liste mit 137 Zahlen per Copy & Paste holen kannst)
7.) die neuen KeyWords und KeyIndices in SynHighlighterPHP.pas kopieren.


PS: du solltest zuerst versuchen mit den alten Keywords[] die gleichen KeyIndices[] wie im ursprünglichen Sourcecode zu erzeugen.
Falls das funktioniert hat, nimmst du die neuen PHP Keywords auf.