home *** CD-ROM | disk | FTP | other *** search
/ Chip 2001 December / Chip_2001-12_cd1.bin / zkuste / delphi / unity / d23456 / SYNAPSE.ZIP / source / lib / SynaChar.pas < prev    next >
Encoding:
Pascal/Delphi Source File  |  2001-09-22  |  46.4 KB  |  1,322 lines
  1. {==============================================================================|
  2. | Project : Delphree - Synapse                                   | 004.000.000 |
  3. |==============================================================================|
  4. | Content: Charset conversion support                                          |
  5. |==============================================================================|
  6. | The contents of this file are subject to the Mozilla Public License Ver. 1.1 |
  7. | (the "License"); you may not use this file except in compliance with the     |
  8. | License. You may obtain a Copy of the License at http://www.mozilla.org/MPL/ |
  9. |                                                                              |
  10. | Software distributed under the License is distributed on an "AS IS" basis,   |
  11. | WITHOUT WARRANTY OF ANY KIND, either express or implied. See the License for |
  12. | the specific language governing rights and limitations under the License.    |
  13. |==============================================================================|
  14. | The Original Code is Synapse Delphi Library.                                 |
  15. |==============================================================================|
  16. | The Initial Developer of the Original Code is Lukas Gebauer (Czech Republic).|
  17. | Portions created by Lukas Gebauer are Copyright (c)2000,2001.                |
  18. | All Rights Reserved.                                                         |
  19. |==============================================================================|
  20. | Contributor(s):                                                              |
  21. |==============================================================================|
  22. | History: see HISTORY.HTM from distribution package                           |
  23. |          (Found at URL: http://www.ararat.cz/synapse/)                       |
  24. |==============================================================================}
  25.  
  26. {$Q-}
  27. {$WEAKPACKAGEUNIT ON}
  28.  
  29. unit SynaChar;
  30.  
  31. interface
  32.  
  33. type
  34.   TMimeChar = (ISO_8859_1, ISO_8859_2, ISO_8859_3,
  35.     ISO_8859_4, ISO_8859_5, ISO_8859_6, ISO_8859_7,
  36.     ISO_8859_8, ISO_8859_9, ISO_8859_10, ISO_8859_13,
  37.     ISO_8859_14, ISO_8859_15, CP1250, CP1251, CP1252,
  38.     CP1253, CP1254, CP1255, CP1256, CP1257, CP1258,
  39.     KOI8_R, CP895, CP852, UCS_2, UCS_4, UTF_8, UTF_7);
  40.  
  41.   TMimeSetChar = set of TMimeChar;
  42.  
  43. //character transcoding tables X to UCS-2
  44. {
  45. //dummy table
  46. $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  47. $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  48. $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  49. $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  50. $00A0, $00A1, $00A2, $00A3, $00A4, $00A5, $00A6, $00A7,
  51. $00A8, $00A9, $00AA, $00AB, $00AC, $00AD, $00AE, $00AF,
  52. $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  53. $00B8, $00B9, $00BA, $00BB, $00BC, $00BD, $00BE, $00BF,
  54. $00C0, $00C1, $00C2, $00C3, $00C4, $00C5, $00C6, $00C7,
  55. $00C8, $00C9, $00CA, $00CB, $00CC, $00CD, $00CE, $00CF,
  56. $00D0, $00D1, $00D2, $00D3, $00D4, $00D5, $00D6, $00D7,
  57. $00D8, $00D9, $00DA, $00DB, $00DC, $00DD, $00DE, $00DF,
  58. $00E0, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $00E7,
  59. $00E8, $00E9, $00EA, $00EB, $00EC, $00ED, $00EE, $00EF,
  60. $00F0, $00F1, $00F2, $00F3, $00F4, $00F5, $00F6, $00F7,
  61. $00F8, $00F9, $00FA, $00FB, $00FC, $00FD, $00FE, $00FF
  62. }
  63.  
  64. const
  65.  
  66. {Latin-1
  67.   Danish, Dutch, English, Faeroese, Finnish, French, German, Icelandic,
  68.   Irish, Italian, Norwegian, Portuguese, Spanish and Swedish.
  69. }
  70.   CharISO_8859_1: array[128..255] of Word =
  71.   (
  72.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  73.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  74.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  75.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  76.     $00A0, $00A1, $00A2, $00A3, $00A4, $00A5, $00A6, $00A7,
  77.     $00A8, $00A9, $00AA, $00AB, $00AC, $00AD, $00AE, $00AF,
  78.     $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  79.     $00B8, $00B9, $00BA, $00BB, $00BC, $00BD, $00BE, $00BF,
  80.     $00C0, $00C1, $00C2, $00C3, $00C4, $00C5, $00C6, $00C7,
  81.     $00C8, $00C9, $00CA, $00CB, $00CC, $00CD, $00CE, $00CF,
  82.     $00D0, $00D1, $00D2, $00D3, $00D4, $00D5, $00D6, $00D7,
  83.     $00D8, $00D9, $00DA, $00DB, $00DC, $00DD, $00DE, $00DF,
  84.     $00E0, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $00E7,
  85.     $00E8, $00E9, $00EA, $00EB, $00EC, $00ED, $00EE, $00EF,
  86.     $00F0, $00F1, $00F2, $00F3, $00F4, $00F5, $00F6, $00F7,
  87.     $00F8, $00F9, $00FA, $00FB, $00FC, $00FD, $00FE, $00FF
  88.     );
  89.  
  90. {Latin-2
  91.   Albanian, Czech, English, German, Hungarian, Polish, Rumanian,
  92.   Serbo-Croatian, Slovak, Slovene and Swedish.
  93. }
  94.   CharISO_8859_2: array[128..255] of Word =
  95.   (
  96.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  97.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  98.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  99.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  100.     $00A0, $0104, $02D8, $0141, $00A4, $013D, $015A, $00A7,
  101.     $00A8, $0160, $015E, $0164, $0179, $00AD, $017D, $017B,
  102.     $00B0, $0105, $02DB, $0142, $00B4, $013E, $015B, $02C7,
  103.     $00B8, $0161, $015F, $0165, $017A, $02DD, $017E, $017C,
  104.     $0154, $00C1, $00C2, $0102, $00C4, $0139, $0106, $00C7,
  105.     $010C, $00C9, $0118, $00CB, $011A, $00CD, $00CE, $010E,
  106.     $0110, $0143, $0147, $00D3, $00D4, $0150, $00D6, $00D7,
  107.     $0158, $016E, $00DA, $0170, $00DC, $00DD, $0162, $00DF,
  108.     $0155, $00E1, $00E2, $0103, $00E4, $013A, $0107, $00E7,
  109.     $010D, $00E9, $0119, $00EB, $011B, $00ED, $00EE, $010F,
  110.     $0111, $0144, $0148, $00F3, $00F4, $0151, $00F6, $00F7,
  111.     $0159, $016F, $00FA, $0171, $00FC, $00FD, $0163, $02D9
  112.     );
  113.  
  114. {Latin-3
  115.   Afrikaans, Catalan, English, Esperanto, French, Galician,
  116.   German, Italian, Maltese and Turkish.
  117. }
  118.   CharISO_8859_3: array[128..255] of Word =
  119.   (
  120.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  121.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  122.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  123.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  124.     $00A0, $0126, $02D8, $00A3, $00A4, $FFFD, $0124, $00A7,
  125.     $00A8, $0130, $015E, $011E, $0134, $00AD, $FFFD, $017B,
  126.     $00B0, $0127, $00B2, $00B3, $00B4, $00B5, $0125, $00B7,
  127.     $00B8, $0131, $015F, $011F, $0135, $00BD, $FFFD, $017C,
  128.     $00C0, $00C1, $00C2, $FFFD, $00C4, $010A, $0108, $00C7,
  129.     $00C8, $00C9, $00CA, $00CB, $00CC, $00CD, $00CE, $00CF,
  130.     $FFFD, $00D1, $00D2, $00D3, $00D4, $0120, $00D6, $00D7,
  131.     $011C, $00D9, $00DA, $00DB, $00DC, $016C, $015C, $00DF,
  132.     $00E0, $00E1, $00E2, $FFFD, $00E4, $010B, $0109, $00E7,
  133.     $00E8, $00E9, $00EA, $00EB, $00EC, $00ED, $00EE, $00EF,
  134.     $FFFD, $00F1, $00F2, $00F3, $00F4, $0121, $00F6, $00F7,
  135.     $011D, $00F9, $00FA, $00FB, $00FC, $016D, $015D, $02D9
  136.     );
  137.  
  138. {Latin-4
  139.   Danish, English, Estonian, Finnish, German, Greenlandic,
  140.   Lappish, Latvian, Lithuanian, Norwegian and Swedish.
  141. }
  142.   CharISO_8859_4: array[128..255] of Word =
  143.   (
  144.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  145.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  146.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  147.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  148.     $00A0, $0104, $0138, $0156, $00A4, $0128, $013B, $00A7,
  149.     $00A8, $0160, $0112, $0122, $0166, $00AD, $017D, $00AF,
  150.     $00B0, $0105, $02DB, $0157, $00B4, $0129, $013C, $02C7,
  151.     $00B8, $0161, $0113, $0123, $0167, $014A, $017E, $014B,
  152.     $0100, $00C1, $00C2, $00C3, $00C4, $00C5, $00C6, $012E,
  153.     $010C, $00C9, $0118, $00CB, $0116, $00CD, $00CE, $012A,
  154.     $0110, $0145, $014C, $0136, $00D4, $00D5, $00D6, $00D7,
  155.     $00D8, $0172, $00DA, $00DB, $00DC, $0168, $016A, $00DF,
  156.     $0101, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $012F,
  157.     $010D, $00E9, $0119, $00EB, $0117, $00ED, $00EE, $012B,
  158.     $0111, $0146, $014D, $0137, $00F4, $00F5, $00F6, $00F7,
  159.     $00F8, $0173, $00FA, $00FB, $00FC, $0169, $016B, $02D9
  160.     );
  161.  
  162. {CYRILLIC
  163.   Bulgarian, Bielorussian, English, Macedonian, Russian,
  164.   Serbo-Croatian and Ukrainian.
  165. }
  166.   CharISO_8859_5: array[128..255] of Word =
  167.   (
  168.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  169.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  170.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  171.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  172.     $00A0, $0401, $0402, $0403, $0404, $0405, $0406, $0407,
  173.     $0408, $0409, $040A, $040B, $040C, $00AD, $040E, $040F,
  174.     $0410, $0411, $0412, $0413, $0414, $0415, $0416, $0417,
  175.     $0418, $0419, $041A, $041B, $041C, $041D, $041E, $041F,
  176.     $0420, $0421, $0422, $0423, $0424, $0425, $0426, $0427,
  177.     $0428, $0429, $042A, $042B, $042C, $042D, $042E, $042F,
  178.     $0430, $0431, $0432, $0433, $0434, $0435, $0436, $0437,
  179.     $0438, $0439, $043A, $043B, $043C, $043D, $043E, $043F,
  180.     $0440, $0441, $0442, $0443, $0444, $0445, $0446, $0447,
  181.     $0448, $0449, $044A, $044B, $044C, $044D, $044E, $044F,
  182.     $2116, $0451, $0452, $0453, $0454, $0455, $0456, $0457,
  183.     $0458, $0459, $045A, $045B, $045C, $00A7, $045E, $045F
  184.     );
  185.  
  186. {ARABIC
  187. }
  188.   CharISO_8859_6: array[128..255] of Word =
  189.   (
  190.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  191.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  192.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  193.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  194.     $00A0, $FFFD, $FFFD, $FFFD, $00A4, $FFFD, $FFFD, $FFFD,
  195.     $FFFD, $FFFD, $FFFD, $FFFD, $060C, $00AD, $FFFD, $FFFD,
  196.     $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD,
  197.     $FFFD, $FFFD, $FFFD, $061B, $FFFD, $FFFD, $FFFD, $061F,
  198.     $FFFD, $0621, $0622, $0623, $0624, $0625, $0626, $0627,
  199.     $0628, $0629, $062A, $062B, $062C, $062D, $062E, $062F,
  200.     $0630, $0631, $0632, $0633, $0634, $0635, $0636, $0637,
  201.     $0638, $0639, $063A, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD,
  202.     $0640, $0641, $0642, $0643, $0644, $0645, $0646, $0647,
  203.     $0648, $0649, $064A, $064B, $064C, $064D, $064E, $064F,
  204.     $0650, $0651, $0652, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD,
  205.     $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD
  206.     );
  207.  
  208. {GREEK
  209. }
  210.   CharISO_8859_7: array[128..255] of Word =
  211.   (
  212.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  213.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  214.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  215.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  216.     $00A0, $2018, $2019, $00A3, $FFFD, $FFFD, $00A6, $00A7,
  217.     $00A8, $00A9, $FFFD, $00AB, $00AC, $00AD, $FFFD, $2015,
  218.     $00B0, $00B1, $00B2, $00B3, $0384, $0385, $0386, $00B7,
  219.     $0388, $0389, $038A, $00BB, $038C, $00BD, $038E, $038F,
  220.     $0390, $0391, $0392, $0393, $0394, $0395, $0396, $0397,
  221.     $0398, $0399, $039A, $039B, $039C, $039D, $039E, $039F,
  222.     $03A0, $03A1, $FFFD, $03A3, $03A4, $03A5, $03A6, $03A7,
  223.     $03A8, $03A9, $03AA, $03AB, $03AC, $03AD, $03AE, $03AF,
  224.     $03B0, $03B1, $03B2, $03B3, $03B4, $03B5, $03B6, $03B7,
  225.     $03B8, $03B9, $03BA, $03BB, $03BC, $03BD, $03BE, $03BF,
  226.     $03C0, $03C1, $03C2, $03C3, $03C4, $03C5, $03C6, $03C7,
  227.     $03C8, $03C9, $03CA, $03CB, $03CC, $03CD, $03CE, $FFFD
  228.     );
  229.  
  230. {HEBREW
  231. }
  232.   CharISO_8859_8: array[128..255] of Word =
  233.   (
  234.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  235.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  236.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  237.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  238.     $00A0, $FFFD, $00A2, $00A3, $00A4, $00A5, $00A6, $00A7,
  239.     $00A8, $00A9, $00D7, $00AB, $00AC, $00AD, $00AE, $00AF,
  240.     $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  241.     $00B8, $00B9, $00F7, $00BB, $00BC, $00BD, $00BE, $FFFD,
  242.     $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD,
  243.     $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD,
  244.     $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD,
  245.     $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $2017,
  246.     $05D0, $05D1, $05D2, $05D3, $05D4, $05D5, $05D6, $05D7,
  247.     $05D8, $05D9, $05DA, $05DB, $05DC, $05DD, $05DE, $05DF,
  248.     $05E0, $05E1, $05E2, $05E3, $05E4, $05E5, $05E6, $05E7,
  249.     $05E8, $05E9, $05EA, $FFFD, $FFFD, $200E, $200F, $FFFD
  250.     );
  251.  
  252. {Latin-5
  253.   English, Finnish, French, German, Irish, Italian, Norwegian,
  254.   Portuguese, Spanish, Swedish and Turkish.
  255. }
  256.   CharISO_8859_9: array[128..255] of Word =
  257.   (
  258.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  259.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  260.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  261.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  262.     $00A0, $0104, $02D8, $0141, $00A4, $013D, $015A, $00A7,
  263.     $00A8, $0160, $015E, $0164, $0179, $00AD, $017D, $017B,
  264.     $00B0, $0105, $02DB, $0142, $00B4, $013E, $015B, $02C7,
  265.     $00B8, $0161, $015F, $0165, $017A, $02DD, $017E, $017C,
  266.     $0154, $00C1, $00C2, $0102, $00C4, $0139, $0106, $00C7,
  267.     $010C, $00C9, $0118, $00CB, $011A, $00CD, $00CE, $010E,
  268.     $011E, $00D1, $00D2, $00D3, $00D4, $00D5, $00D6, $00D7,
  269.     $00D8, $00D9, $00DA, $00DB, $00DC, $0130, $015E, $00DF,
  270.     $00E0, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $00E7,
  271.     $00E8, $00E9, $00EA, $00EB, $00EC, $00ED, $00EE, $00EF,
  272.     $011F, $00F1, $00F2, $00F3, $00F4, $00F5, $00F6, $00F7,
  273.     $00F8, $00F9, $00FA, $00FB, $00FC, $0131, $015F, $00FF
  274.     );
  275.  
  276. {Latin-6
  277.   Danish, English, Estonian, Faeroese, Finnish, German, Greenlandic,
  278.   Icelandic, Lappish, Latvian, Lithuanian, Norwegian and Swedish.
  279. }
  280.   CharISO_8859_10: array[128..255] of Word =
  281.   (
  282.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  283.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  284.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  285.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  286.     $00A0, $0104, $0112, $0122, $012A, $0128, $0136, $00A7,
  287.     $013B, $0110, $0160, $0166, $017D, $00AD, $016A, $014A,
  288.     $00B0, $0105, $0113, $0123, $012B, $0129, $0137, $00B7,
  289.     $013C, $0111, $0161, $0167, $017E, $2015, $016B, $014B,
  290.     $0100, $00C1, $00C2, $00C3, $00C4, $00C5, $00C6, $012E,
  291.     $010C, $00C9, $0118, $00CB, $0116, $00CD, $00CE, $00CF,
  292.     $00D0, $0145, $014C, $00D3, $00D4, $00D5, $00D6, $0168,
  293.     $00D8, $0172, $00DA, $00DB, $00DC, $00DD, $00DE, $00DF,
  294.     $0101, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $012F,
  295.     $010D, $00E9, $0119, $00EB, $0117, $00ED, $00EE, $00EF,
  296.     $00F0, $0146, $014D, $00F3, $00F4, $00F5, $00F6, $0169,
  297.     $00F8, $0173, $00FA, $00FB, $00FC, $00FD, $00FE, $0138
  298.     );
  299.  
  300.   CharISO_8859_13: array[128..255] of Word =
  301.   (
  302.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  303.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  304.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  305.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  306.     $00A0, $201D, $00A2, $00A3, $00A4, $201E, $00A6, $00A7,
  307.     $00D8, $00A9, $0156, $00AB, $00AC, $00AD, $00AE, $00C6,
  308.     $00B0, $00B1, $00B2, $00B3, $201C, $00B5, $00B6, $00B7,
  309.     $00F8, $00B9, $0157, $00BB, $00BC, $00BD, $00BE, $00E6,
  310.     $0104, $012E, $0100, $0106, $00C4, $00C5, $0118, $0112,
  311.     $010C, $00C9, $0179, $0116, $0122, $0136, $012A, $013B,
  312.     $0160, $0143, $0145, $00D3, $014C, $00D5, $00D6, $00D7,
  313.     $0172, $0141, $015A, $016A, $00DC, $017B, $017D, $00DF,
  314.     $0105, $012F, $0101, $0107, $00E4, $00E5, $0119, $0113,
  315.     $010D, $00E9, $017A, $0117, $0123, $0137, $012B, $013C,
  316.     $0161, $0144, $0146, $00F3, $014D, $00F5, $00F6, $00F7,
  317.     $0173, $0142, $015B, $016B, $00FC, $017C, $017E, $2019
  318.     );
  319.  
  320.   CharISO_8859_14: array[128..255] of Word =
  321.   (
  322.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  323.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  324.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  325.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  326.     $00A0, $1E02, $1E03, $00A3, $010A, $010B, $1E0A, $00A7,
  327.     $1E80, $00A9, $1E82, $1E0B, $1EF2, $00AD, $00AE, $0178,
  328.     $1E1E, $1E1F, $0120, $0121, $1E40, $1E41, $00B6, $1E56,
  329.     $1E81, $1E57, $1E83, $1E60, $1EF3, $1E84, $1E85, $1E61,
  330.     $00C0, $00C1, $00C2, $00C3, $00C4, $00C5, $00C6, $00C7,
  331.     $00C8, $00C9, $00CA, $00CB, $00CC, $00CD, $00CE, $00CF,
  332.     $0174, $00D1, $00D2, $00D3, $00D4, $00D5, $00D6, $1E6A,
  333.     $00D8, $00D9, $00DA, $00DB, $00DC, $00DD, $0176, $00DF,
  334.     $00E0, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $00E7,
  335.     $00E8, $00E9, $00EA, $00EB, $00EC, $00ED, $00EE, $00EF,
  336.     $0175, $00F1, $00F2, $00F3, $00F4, $00F5, $00F6, $1E6B,
  337.     $00F8, $00F9, $00FA, $00FB, $00FC, $00FD, $0177, $00FF
  338.     );
  339.  
  340.   CharISO_8859_15: array[128..255] of Word =
  341.   (
  342.     $0080, $0081, $0082, $0083, $0084, $0085, $0086, $0087,
  343.     $0088, $0089, $008A, $008B, $008C, $008D, $008E, $008F,
  344.     $0090, $0091, $0092, $0093, $0094, $0095, $0096, $0097,
  345.     $0098, $0099, $009A, $009B, $009C, $009D, $009E, $009F,
  346.     $00A0, $00A1, $00A2, $00A3, $20AC, $00A5, $0160, $00A7,
  347.     $0161, $00A9, $00AA, $00AB, $00AC, $00AD, $00AE, $00AF,
  348.     $00B0, $00B1, $00B2, $00B3, $017D, $00B5, $00B6, $00B7,
  349.     $017E, $00B9, $00BA, $00BB, $0152, $0153, $0178, $00BF,
  350.     $00C0, $00C1, $00C2, $00C3, $00C4, $00C5, $00C6, $00C7,
  351.     $00C8, $00C9, $00CA, $00CB, $00CC, $00CD, $00CE, $00CF,
  352.     $00D0, $00D1, $00D2, $00D3, $00D4, $00D5, $00D6, $00D7,
  353.     $00D8, $00D9, $00DA, $00DB, $00DC, $00DD, $00DE, $00DF,
  354.     $00E0, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $00E7,
  355.     $00E8, $00E9, $00EA, $00EB, $00EC, $00ED, $00EE, $00EF,
  356.     $00F0, $00F1, $00F2, $00F3, $00F4, $00F5, $00F6, $00F7,
  357.     $00F8, $00F9, $00FA, $00FB, $00FC, $00FD, $00FE, $00FF
  358.     );
  359.  
  360. {Eastern European
  361. }
  362.   CharCP_1250: array[128..255] of Word =
  363.   (
  364.     $20AC, $FFFD, $201A, $FFFD, $201E, $2026, $2020, $2021,
  365.     $FFFD, $2030, $0160, $2039, $015A, $0164, $017D, $0179,
  366.     $FFFD, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  367.     $FFFD, $2122, $0161, $203A, $015B, $0165, $017E, $017A,
  368.     $00A0, $02C7, $02D8, $0141, $00A4, $0104, $00A6, $00A7,
  369.     $00A8, $00A9, $015E, $00AB, $00AC, $00AD, $00AE, $017B,
  370.     $00B0, $00B1, $02DB, $0142, $00B4, $00B5, $00B6, $00B7,
  371.     $00B8, $0105, $015F, $00BB, $013D, $02DD, $013E, $017C,
  372.     $0154, $00C1, $00C2, $0102, $00C4, $0139, $0106, $00C7,
  373.     $010C, $00C9, $0118, $00CB, $011A, $00CD, $00CE, $010E,
  374.     $0110, $0143, $0147, $00D3, $00D4, $0150, $00D6, $00D7,
  375.     $0158, $016E, $00DA, $0170, $00DC, $00DD, $0162, $00DF,
  376.     $0155, $00E1, $00E2, $0103, $00E4, $013A, $0107, $00E7,
  377.     $010D, $00E9, $0119, $00EB, $011B, $00ED, $00EE, $010F,
  378.     $0111, $0144, $0148, $00F3, $00F4, $0151, $00F6, $00F7,
  379.     $0159, $016F, $00FA, $0171, $00FC, $00FD, $0163, $02D9
  380.     );
  381.  
  382. {Cyrillic
  383. }
  384.   CharCP_1251: array[128..255] of Word =
  385.   (
  386.     $0402, $0403, $201A, $0453, $201E, $2026, $2020, $2021,
  387.     $20AC, $2030, $0409, $2039, $040A, $040C, $040B, $040F,
  388.     $0452, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  389.     $FFFD, $2122, $0459, $203A, $045A, $045C, $045B, $045F,
  390.     $00A0, $040E, $045E, $0408, $00A4, $0490, $00A6, $00A7,
  391.     $0401, $00A9, $0404, $00AB, $00AC, $00AD, $00AE, $0407,
  392.     $00B0, $00B1, $0406, $0456, $0491, $00B5, $00B6, $00B7,
  393.     $0451, $2116, $0454, $00BB, $0458, $0405, $0455, $0457,
  394.     $0410, $0411, $0412, $0413, $0414, $0415, $0416, $0417,
  395.     $0418, $0419, $041A, $041B, $041C, $041D, $041E, $041F,
  396.     $0420, $0421, $0422, $0423, $0424, $0425, $0426, $0427,
  397.     $0428, $0429, $042A, $042B, $042C, $042D, $042E, $042F,
  398.     $0430, $0431, $0432, $0433, $0434, $0435, $0436, $0437,
  399.     $0438, $0439, $043A, $043B, $043C, $043D, $043E, $043F,
  400.     $0440, $0441, $0442, $0443, $0444, $0445, $0446, $0447,
  401.     $0448, $0449, $044A, $044B, $044C, $044D, $044E, $044F
  402.     );
  403.  
  404. {Latin-1 (US, Western Europe)
  405. }
  406.   CharCP_1252: array[128..255] of Word =
  407.   (
  408.     $20AC, $FFFD, $201A, $0192, $201E, $2026, $2020, $2021,
  409.     $02C6, $2030, $0160, $2039, $0152, $FFFD, $017D, $FFFD,
  410.     $FFFD, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  411.     $02DC, $2122, $0161, $203A, $0153, $FFFD, $017E, $0178,
  412.     $00A0, $00A1, $00A2, $00A3, $00A4, $00A5, $00A6, $00A7,
  413.     $00A8, $00A9, $00AA, $00AB, $00AC, $00AD, $00AE, $00AF,
  414.     $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  415.     $00B8, $00B9, $00BA, $00BB, $00BC, $00BD, $00BE, $00BF,
  416.     $00C0, $00C1, $00C2, $00C3, $00C4, $00C5, $00C6, $00C7,
  417.     $00C8, $00C9, $00CA, $00CB, $00CC, $00CD, $00CE, $00CF,
  418.     $00D0, $00D1, $00D2, $00D3, $00D4, $00D5, $00D6, $00D7,
  419.     $00D8, $00D9, $00DA, $00DB, $00DC, $00DD, $00DE, $00DF,
  420.     $00E0, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $00E7,
  421.     $00E8, $00E9, $00EA, $00EB, $00EC, $00ED, $00EE, $00EF,
  422.     $00F0, $00F1, $00F2, $00F3, $00F4, $00F5, $00F6, $00F7,
  423.     $00F8, $00F9, $00FA, $00FB, $00FC, $00FD, $00FE, $00FF
  424.     );
  425.  
  426. {Greek
  427. }
  428.   CharCP_1253: array[128..255] of Word =
  429.   (
  430.     $20AC, $FFFD, $201A, $0192, $201E, $2026, $2020, $2021,
  431.     $FFFD, $2030, $FFFD, $2039, $FFFD, $FFFD, $FFFD, $FFFD,
  432.     $FFFD, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  433.     $FFFD, $2122, $FFFD, $203A, $FFFD, $FFFD, $FFFD, $FFFD,
  434.     $00A0, $0385, $0386, $00A3, $00A4, $00A5, $00A6, $00A7,
  435.     $00A8, $00A9, $FFFD, $00AB, $00AC, $00AD, $00AE, $2015,
  436.     $00B0, $00B1, $00B2, $00B3, $0384, $00B5, $00B6, $00B7,
  437.     $0388, $0389, $038A, $00BB, $038C, $00BD, $038E, $038F,
  438.     $0390, $0391, $0392, $0393, $0394, $0395, $0396, $0397,
  439.     $0398, $0399, $039A, $039B, $039C, $039D, $039E, $039F,
  440.     $03A0, $03A1, $FFFD, $03A3, $03A4, $03A5, $03A6, $03A7,
  441.     $03A8, $03A9, $03AA, $03AB, $03AC, $03AD, $03AE, $03AF,
  442.     $03B0, $03B1, $03B2, $03B3, $03B4, $03B5, $03B6, $03B7,
  443.     $03B8, $03B9, $03BA, $03BB, $03BC, $03BD, $03BE, $03BF,
  444.     $03C0, $03C1, $03C2, $03C3, $03C4, $03C5, $03C6, $03C7,
  445.     $03C8, $03C9, $03CA, $03CB, $03CC, $03CD, $03CE, $FFFD
  446.     );
  447.  
  448. {Turkish
  449. }
  450.   CharCP_1254: array[128..255] of Word =
  451.   (
  452.     $20AC, $FFFD, $201A, $0192, $201E, $2026, $2020, $2021,
  453.     $02C6, $2030, $0160, $2039, $0152, $FFFD, $FFFD, $FFFD,
  454.     $FFFD, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  455.     $02DC, $2122, $0161, $203A, $0153, $FFFD, $FFFD, $0178,
  456.     $00A0, $00A1, $00A2, $00A3, $00A4, $00A5, $00A6, $00A7,
  457.     $00A8, $00A9, $00AA, $00AB, $00AC, $00AD, $00AE, $00AF,
  458.     $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  459.     $00B8, $00B9, $00BA, $00BB, $00BC, $00BD, $00BE, $00BF,
  460.     $00C0, $00C1, $00C2, $00C3, $00C4, $00C5, $00C6, $00C7,
  461.     $00C8, $00C9, $00CA, $00CB, $00CC, $00CD, $00CE, $00CF,
  462.     $011E, $00D1, $00D2, $00D3, $00D4, $00D5, $00D6, $00D7,
  463.     $00D8, $00D9, $00DA, $00DB, $00DC, $0130, $015E, $00DF,
  464.     $00E0, $00E1, $00E2, $00E3, $00E4, $00E5, $00E6, $00E7,
  465.     $00E8, $00E9, $00EA, $00EB, $00EC, $00ED, $00EE, $00EF,
  466.     $011F, $00F1, $00F2, $00F3, $00F4, $00F5, $00F6, $00F7,
  467.     $00F8, $00F9, $00FA, $00FB, $00FC, $0131, $015F, $00FF
  468.     );
  469.  
  470. {Hebrew
  471. }
  472.   CharCP_1255: array[128..255] of Word =
  473.   (
  474.     $20AC, $FFFD, $201A, $0192, $201E, $2026, $2020, $2021,
  475.     $02C6, $2030, $FFFD, $2039, $FFFD, $FFFD, $FFFD, $FFFD,
  476.     $FFFD, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  477.     $02DC, $2122, $FFFD, $203A, $FFFD, $FFFD, $FFFD, $FFFD,
  478.     $00A0, $00A1, $00A2, $00A3, $20AA, $00A5, $00A6, $00A7,
  479.     $00A8, $00A9, $00D7, $00AB, $00AC, $00AD, $00AE, $00AF,
  480.     $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  481.     $00B8, $00B9, $00F7, $00BB, $00BC, $00BD, $00BE, $00BF,
  482.     $05B0, $05B1, $05B2, $05B3, $05B4, $05B5, $05B6, $05B7,
  483.     $05B8, $05B9, $FFFD, $05BB, $05BC, $05BD, $05BE, $05BF,
  484.     $05C0, $05C1, $05C2, $05C3, $05F0, $05F1, $05F2, $05F3,
  485.     $05F4, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD, $FFFD,
  486.     $05D0, $05D1, $05D2, $05D3, $05D4, $05D5, $05D6, $05D7,
  487.     $05D8, $05D9, $05DA, $05DB, $05DC, $05DD, $05DE, $05DF,
  488.     $05E0, $05E1, $05E2, $05E3, $05E4, $05E5, $05E6, $05E7,
  489.     $05E8, $05E9, $05EA, $FFFD, $FFFD, $200E, $200F, $FFFD
  490.     );
  491.  
  492. {Arabic
  493. }
  494.   CharCP_1256: array[128..255] of Word =
  495.   (
  496.     $20AC, $067E, $201A, $0192, $201E, $2026, $2020, $2021,
  497.     $02C6, $2030, $0679, $2039, $0152, $0686, $0698, $0688,
  498.     $06AF, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  499.     $06A9, $2122, $0691, $203A, $0153, $200C, $200D, $06BA,
  500.     $00A0, $060C, $00A2, $00A3, $00A4, $00A5, $00A6, $00A7,
  501.     $00A8, $00A9, $06BE, $00AB, $00AC, $00AD, $00AE, $00AF,
  502.     $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  503.     $00B8, $00B9, $061B, $00BB, $00BC, $00BD, $00BE, $061F,
  504.     $06C1, $0621, $0622, $0623, $0624, $0625, $0626, $0627,
  505.     $0628, $0629, $062A, $062B, $062C, $062D, $062E, $062F,
  506.     $0630, $0631, $0632, $0633, $0634, $0635, $0636, $00D7,
  507.     $0637, $0638, $0639, $063A, $0640, $0641, $0642, $0643,
  508.     $00E0, $0644, $00E2, $0645, $0646, $0647, $0648, $00E7,
  509.     $00E8, $00E9, $00EA, $00EB, $0649, $064A, $00EE, $00EF,
  510.     $064B, $064C, $064D, $064E, $00F4, $064F, $0650, $00F7,
  511.     $0651, $00F9, $0652, $00FB, $00FC, $200E, $200F, $06D2
  512.     );
  513.  
  514. {Baltic
  515. }
  516.   CharCP_1257: array[128..255] of Word =
  517.   (
  518.     $20AC, $FFFD, $201A, $FFFD, $201E, $2026, $2020, $2021,
  519.     $FFFD, $2030, $FFFD, $2039, $FFFD, $00A8, $02C7, $00B8,
  520.     $FFFD, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  521.     $FFFD, $2122, $FFFD, $203A, $FFFD, $00AF, $02DB, $FFFD,
  522.     $00A0, $FFFD, $00A2, $00A3, $00A4, $FFFD, $00A6, $00A7,
  523.     $00D8, $00A9, $0156, $00AB, $00AC, $00AD, $00AE, $00C6,
  524.     $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  525.     $00F8, $00B9, $0157, $00BB, $00BC, $00BD, $00BE, $00E6,
  526.     $0104, $012E, $0100, $0106, $00C4, $00C5, $0118, $0112,
  527.     $010C, $00C9, $0179, $0116, $0122, $0136, $012A, $013B,
  528.     $0160, $0143, $0145, $00D3, $014C, $00D5, $00D6, $00D7,
  529.     $0172, $0141, $015A, $016A, $00DC, $017B, $017D, $00DF,
  530.     $0105, $012F, $0101, $0107, $00E4, $00E5, $0119, $0113,
  531.     $010D, $00E9, $017A, $0117, $0123, $0137, $012B, $013C,
  532.     $0161, $0144, $0146, $00F3, $014D, $00F5, $00F6, $00F7,
  533.     $0173, $0142, $015B, $016B, $00FC, $017C, $017E, $02D9
  534.     );
  535.  
  536. {??
  537. }
  538.   CharCP_1258: array[128..255] of Word =
  539.   (
  540.     $20AC, $FFFD, $201A, $0192, $201E, $2026, $2020, $2021,
  541.     $02C6, $2030, $FFFD, $2039, $0152, $FFFD, $FFFD, $FFFD,
  542.     $FFFD, $2018, $2019, $201C, $201D, $2022, $2013, $2014,
  543.     $02DC, $2122, $FFFD, $203A, $0153, $FFFD, $FFFD, $0178,
  544.     $00A0, $00A1, $00A2, $00A3, $00A4, $00A5, $00A6, $00A7,
  545.     $00A8, $00A9, $00AA, $00AB, $00AC, $00AD, $00AE, $00AF,
  546.     $00B0, $00B1, $00B2, $00B3, $00B4, $00B5, $00B6, $00B7,
  547.     $00B8, $00B9, $00BA, $00BB, $00BC, $00BD, $00BE, $00BF,
  548.     $00C0, $00C1, $00C2, $0102, $00C4, $00C5, $00C6, $00C7,
  549.     $00C8, $00C9, $00CA, $00CB, $0300, $00CD, $00CE, $00CF,
  550.     $0110, $00D1, $0309, $00D3, $00D4, $01A0, $00D6, $00D7,
  551.     $00D8, $00D9, $00DA, $00DB, $00DC, $01AF, $0303, $00DF,
  552.     $00E0, $00E1, $00E2, $0103, $00E4, $00E5, $00E6, $00E7,
  553.     $00E8, $00E9, $00EA, $00EB, $0301, $00ED, $00EE, $00EF,
  554.     $0111, $00F1, $0323, $00F3, $00F4, $01A1, $00F6, $00F7,
  555.     $00F8, $00F9, $00FA, $00FB, $00FC, $01B0, $20AB, $00FF
  556.     );
  557.  
  558. {Cyrillic
  559. }
  560.   CharKOI8_R: array[128..255] of Word =
  561.   (
  562.     $2500, $2502, $250C, $2510, $2514, $2518, $251C, $2524,
  563.     $252C, $2534, $253C, $2580, $2584, $2588, $258C, $2590,
  564.     $2591, $2592, $2593, $2320, $25A0, $2219, $221A, $2248,
  565.     $2264, $2265, $00A0, $2321, $00B0, $00B2, $00B7, $00F7,
  566.     $2550, $2551, $2552, $0451, $2553, $2554, $2555, $2556,
  567.     $2557, $2558, $2559, $255A, $255B, $255C, $255D, $255E,
  568.     $255F, $2560, $2561, $0401, $2562, $2563, $2564, $2565,
  569.     $2566, $2567, $2568, $2569, $256A, $256B, $256C, $00A9,
  570.     $044E, $0430, $0431, $0446, $0434, $0435, $0444, $0433,
  571.     $0445, $0438, $0439, $043A, $043B, $043C, $043D, $043E,
  572.     $043F, $044F, $0440, $0441, $0442, $0443, $0436, $0432,
  573.     $044C, $044B, $0437, $0448, $044D, $0449, $0447, $044A,
  574.     $042E, $0410, $0411, $0426, $0414, $0415, $0424, $0413,
  575.     $0425, $0418, $0419, $041A, $041B, $041C, $041D, $041E,
  576.     $041F, $042F, $0420, $0421, $0422, $0423, $0416, $0412,
  577.     $042C, $042B, $0417, $0428, $042D, $0429, $0427, $042A
  578.     );
  579.  
  580. {Czech (Kamenicky)
  581. }
  582.   CharCP_895: array[128..255] of Word =
  583.   (
  584.     $010C, $00FC, $00E9, $010F, $00E4, $010E, $0164, $010D,
  585.     $011B, $011A, $0139, $00CD, $013E, $013A, $00C4, $00C1,
  586.     $00C9, $017E, $017D, $00F4, $00F6, $00D3, $016F, $00DA,
  587.     $00FD, $00D6, $00DC, $0160, $013D, $00DD, $0158, $0165,
  588.     $00E1, $00ED, $00F3, $00FA, $0148, $0147, $016E, $00D4,
  589.     $0161, $0159, $0155, $0154, $00BC, $00A7, $00AB, $00BB,
  590.     $2591, $2592, $2593, $2502, $2524, $2561, $2562, $2556,
  591.     $2555, $2563, $2551, $2557, $255D, $255C, $255B, $2510,
  592.     $2514, $2534, $252C, $251C, $2500, $253C, $255E, $255F,
  593.     $255A, $2554, $2569, $2566, $2560, $2550, $256C, $2567,
  594.     $2568, $2564, $2565, $2559, $2558, $2552, $2553, $256B,
  595.     $256A, $2518, $250C, $2588, $2584, $258C, $2590, $2580,
  596.     $03B1, $03B2, $0393, $03C0, $03A3, $03C3, $03BC, $03C4,
  597.     $03A6, $0398, $03A9, $03B4, $221E, $2205, $03B5, $2229,
  598.     $2261, $00B1, $2265, $2264, $2320, $2321, $00F7, $2248,
  599.     $2218, $00B7, $2219, $221A, $207F, $00B2, $25A0, $00A0
  600.     );
  601.  
  602. {Eastern European
  603. }
  604.   CharCP_852: array[128..255] of Word =
  605.   (
  606.     $00C7, $00FC, $00E9, $00E2, $00E4, $016F, $0107, $00E7,
  607.     $0142, $00EB, $0150, $0151, $00EE, $0179, $00C4, $0106,
  608.     $00C9, $0139, $013A, $00F4, $00F6, $013D, $013E, $015A,
  609.     $015B, $00D6, $00DC, $0164, $0165, $0141, $00D7, $010D,
  610.     $00E1, $00ED, $00F3, $00FA, $0104, $0105, $017D, $017E,
  611.     $0118, $0119, $00AC, $017A, $010C, $015F, $00AB, $00BB,
  612.     $2591, $2592, $2593, $2502, $2524, $00C1, $00C2, $011A,
  613.     $015E, $2563, $2551, $2557, $255D, $017B, $017C, $2510,
  614.     $2514, $2534, $252C, $251C, $2500, $253C, $0102, $0103,
  615.     $255A, $2554, $2569, $2566, $2560, $2550, $256C, $00A4,
  616.     $0111, $0110, $010E, $00CB, $010F, $0147, $00CD, $00CE,
  617.     $011B, $2518, $250C, $2588, $2584, $0162, $016E, $2580,
  618.     $00D3, $00DF, $00D4, $0143, $0144, $0148, $0160, $0161,
  619.     $0154, $00DA, $0155, $0170, $00FD, $00DD, $0163, $00B4,
  620.     $00AD, $02DD, $02DB, $02C7, $02D8, $00A7, $00F7, $00B8,
  621.     $00B0, $00A8, $02D9, $0171, $0158, $0159, $25A0, $00A0
  622.     );
  623.  
  624.   // nothing fr replace
  625.   Replace_None: array[0..0] of Word =
  626.     (0);
  627.  
  628.   //remove diakritics from Czech
  629.   Replace_Czech: array[0..55] of Word =
  630.     (
  631.       $00E1, $0061,
  632.       $010D, $0063,
  633.       $010F, $0064,
  634.       $010E, $0044,
  635.       $00E9, $0065,
  636.       $011B, $0065,
  637.       $00ED, $0069,
  638.       $00F3, $006F,
  639.       $0159, $0072,
  640.       $0161, $0073,
  641.       $0165, $0074,
  642.       $00FA, $0075,
  643.       $016F, $0075,
  644.       $00FD, $0079,
  645.       $017E, $007A,
  646.       $00C1, $0041,
  647.       $010C, $0043,
  648.       $00C9, $0045,
  649.       $011A, $0045,
  650.       $00CD, $0049,
  651.       $00D3, $004F,
  652.       $0158, $0052,
  653.       $0160, $0053,
  654.       $0164, $0053,
  655.       $00DA, $0054,
  656.       $016E, $0055,
  657.       $00DD, $0059,
  658.       $017D, $005A
  659.     );
  660.  
  661. {==============================================================================}
  662. function UTF8toUCS4(const Value: string): string;
  663. function UCS4toUTF8(const Value: string): string;
  664. function UTF7toUCS2(const Value: string): string;
  665. function UCS2toUTF7(const Value: string): string;
  666. function CharsetConversion(Value: string; CharFrom: TMimeChar;
  667.   CharTo: TMimeChar): string;
  668. function CharsetConversionEx(Value: string; CharFrom: TMimeChar;
  669.   CharTo: TMimeChar; const TransformTable: array of Word): string;
  670. function GetCurCP: TMimeChar;
  671. function GetCPFromID(Value: string): TMimeChar;
  672. function GetIDFromCP(Value: TMimeChar): string;
  673. function NeedCharsetConversion(const Value: string): Boolean;
  674. function IdealCharsetCoding(const Value: string; CharFrom: TMimeChar;
  675.   CharTo: TMimeSetChar): TMimeChar;
  676.  
  677. implementation
  678.  
  679. uses
  680. {$IFDEF LINUX}
  681.   Libc,
  682. {$ELSE}
  683.   Windows,
  684. {$ENDIF}
  685.   SysUtils,
  686.   SynaUtil, SynaCode;
  687.  
  688. const
  689.   NotFoundChar = '_';
  690.  
  691. var
  692.   SetTwo: set of TMimeChar = [UCS_2, UTF_7];
  693.   SetFour: set of TMimeChar = [UCS_4, UTF_8];
  694.  
  695. {==============================================================================}
  696. function ReplaceUnicode(Value: Word; const TransformTable: array of Word): Word;
  697. var
  698.   n: integer;
  699. begin
  700.   if High(TransformTable) <> 0 then
  701.     for n := 0 to High(TransformTable) do
  702.       if not odd(n) then
  703.         if TransformTable[n] = Value then
  704.           begin
  705.             Value := TransformTable[n+1];
  706.             break;
  707.           end;
  708.   Result := Value;
  709. end;
  710.  
  711. {==============================================================================}
  712. procedure CopyArray(const SourceTable: array of Word;
  713.   var TargetTable: array of Word);
  714. var
  715.   n: Integer;
  716. begin
  717.   for n := 0 to 127 do
  718.     TargetTable[n] := SourceTable[n];
  719. end;
  720.  
  721. {==============================================================================}
  722. procedure GetArray(CharSet: TMimeChar; var Result: array of Word);
  723. begin
  724.   case CharSet of
  725.     ISO_8859_1:
  726.       CopyArray(CharISO_8859_1, Result);
  727.     ISO_8859_2:
  728.       CopyArray(CharISO_8859_2, Result);
  729.     ISO_8859_3:
  730.       CopyArray(CharISO_8859_3, Result);
  731.     ISO_8859_4:
  732.       CopyArray(CharISO_8859_4, Result);
  733.     ISO_8859_5:
  734.       CopyArray(CharISO_8859_5, Result);
  735.     ISO_8859_6:
  736.       CopyArray(CharISO_8859_6, Result);
  737.     ISO_8859_7:
  738.       CopyArray(CharISO_8859_7, Result);
  739.     ISO_8859_8:
  740.       CopyArray(CharISO_8859_8, Result);
  741.     ISO_8859_9:
  742.       CopyArray(CharISO_8859_9, Result);
  743.     ISO_8859_10:
  744.       CopyArray(CharISO_8859_10, Result);
  745.     ISO_8859_13:
  746.       CopyArray(CharISO_8859_13, Result);
  747.     ISO_8859_14:
  748.       CopyArray(CharISO_8859_14, Result);
  749.     ISO_8859_15:
  750.       CopyArray(CharISO_8859_15, Result);
  751.     CP1250:
  752.       CopyArray(CharCP_1250, Result);
  753.     CP1251:
  754.       CopyArray(CharCP_1251, Result);
  755.     CP1252:
  756.       CopyArray(CharCP_1252, Result);
  757.     CP1253:
  758.       CopyArray(CharCP_1253, Result);
  759.     CP1254:
  760.       CopyArray(CharCP_1254, Result);
  761.     CP1255:
  762.       CopyArray(CharCP_1255, Result);
  763.     CP1256:
  764.       CopyArray(CharCP_1256, Result);
  765.     CP1257:
  766.       CopyArray(CharCP_1257, Result);
  767.     CP1258:
  768.       CopyArray(CharCP_1258, Result);
  769.     KOI8_R:
  770.       CopyArray(CharKOI8_R, Result);
  771.     CP895:
  772.       CopyArray(CharCP_895, Result);
  773.     CP852:
  774.       CopyArray(CharCP_852, Result);
  775.   end;
  776. end;
  777.  
  778. {==============================================================================}
  779. procedure ReadMulti(const Value: string; var Index: Integer; mb: Byte;
  780.   var b1, b2, b3, b4: Byte);
  781. var
  782.   b: array[0..3] of Byte;
  783.   n: Integer;
  784.   s: string;
  785. begin
  786.   b[0] := 0;
  787.   b[1] := 0;
  788.   b[2] := 0;
  789.   b[3] := 0;
  790.   if (Length(Value) + 1) < Index + mb then
  791.     Exit;
  792.   s := '';
  793.   for n := 1 to mb do
  794.   begin
  795.     s := Value[Index] + s;
  796.     Inc(Index);
  797.   end;
  798.   for n := 1 to mb do
  799.     b[n - 1] := Ord(s[n]);
  800.   b1 := b[0];
  801.   b2 := b[1];
  802.   b3 := b[2];
  803.   b4 := b[3];
  804. end;
  805.  
  806. {==============================================================================}
  807. function WriteMulti(b1, b2, b3, b4: Byte; mb: Byte): string;
  808. var
  809.   b: array[0..3] of Byte;
  810.   n: Integer;
  811. begin
  812.   Result := '';
  813.   b[0] := b1;
  814.   b[1] := b2;
  815.   b[2] := b3;
  816.   b[3] := b4;
  817.   for n := 1 to mb do
  818.     Result := Char(b[n - 1]) + Result;
  819. end;
  820.  
  821. {==============================================================================}
  822. function UTF8toUCS4(const Value: string): string;
  823. var
  824.   n, x, ul, m: Integer;
  825.   s: string;
  826.   w1, w2: Word;
  827. begin
  828.   Result := '';
  829.   n := 1;
  830.   while Length(Value) >= n do
  831.   begin
  832.     x := Ord(Value[n]);
  833.     Inc(n);
  834.     if x < 128 then
  835.       Result := Result + WriteMulti(x, 0, 0, 0, 4)
  836.     else
  837.     begin
  838.       m := 0;
  839.       if (x and $E0) = $C0 then
  840.         m := $1F;
  841.       if (x and $F0) = $E0 then
  842.         m := $0F;
  843.       if (x and $F8) = $F0 then
  844.         m := $07;
  845.       if (x and $FC) = $F8 then
  846.         m := $03;
  847.       if (x and $FE) = $FC then
  848.         m := $01;
  849.       ul := x and m;
  850.       s := IntToBin(ul, 0);
  851.       while Length(Value) >= n do
  852.       begin
  853.         x := Ord(Value[n]);
  854.         Inc(n);
  855.         if (x and $C0) = $80 then
  856.           s := s + IntToBin(x and $3F, 6)
  857.         else
  858.         begin
  859.           Dec(n);
  860.           Break;
  861.         end;
  862.       end;
  863.       ul := BinToInt(s);
  864.       w1 := ul div 65536;
  865.       w2 := ul mod 65536;
  866.       Result := Result + WriteMulti(Lo(w2), Hi(w2), Lo(w1), Hi(w1), 4);
  867.     end;
  868.   end;
  869. end;
  870.  
  871. {==============================================================================}
  872. function UCS4toUTF8(const Value: string): string;
  873. var
  874.   s, l, k: string;
  875.   b1, b2, b3, b4: Byte;
  876.   n, m, x, y: Integer;
  877.   b: Byte;
  878. begin
  879.   Result := '';
  880.   n := 1;
  881.   while Length(Value) >= n do
  882.   begin
  883.     ReadMulti(Value, n, 4, b1, b2, b3, b4);
  884.     if (b2 = 0) and (b3 = 0) and (b4 = 0) and (b1 < 128) then
  885.       Result := Result + Char(b1)
  886.     else
  887.     begin
  888.       x := (b1 + 256 * b2) + (b3 + 256 * b4) * 65536;
  889.       l := IntToBin(x, 0);
  890.       y := Length(l) div 6;
  891.       s := '';
  892.       for m := 1 to y do
  893.       begin
  894.         k := Copy(l, Length(l) - 5, 6);
  895.         l := Copy(l, 1, Length(l) - 6);
  896.         b := BinToInt(k) or $80;
  897.         s := Char(b) + s;
  898.       end;
  899.       b := BinToInt(l);
  900.       case y of
  901.         5:
  902.           b := b or $FC;
  903.         4:
  904.           b := b or $F8;
  905.         3:
  906.           b := b or $F0;
  907.         2:
  908.           b := b or $E0;
  909.         1:
  910.           b := b or $C0;
  911.       end;
  912.       s := Char(b) + s;
  913.       Result := Result + s;
  914.     end;
  915.   end;
  916. end;
  917.  
  918. {==============================================================================}
  919. function UTF7toUCS2(const Value: string): string;
  920. var
  921.   n: Integer;
  922.   c: Char;
  923.   s: string;
  924. begin
  925.   Result := '';
  926.   n := 1;
  927.   while Length(Value) >= n do
  928.   begin
  929.     c := Value[n];
  930.     Inc(n);
  931.     if c <> '+' then
  932.       Result := Result + WriteMulti(Ord(c), 0, 0, 0, 2)
  933.     else
  934.     begin
  935.       s := '';
  936.       while Length(Value) >= n do
  937.       begin
  938.         c := Value[n];
  939.         Inc(n);
  940.         if c = '-' then
  941.           Break;
  942.         if (c = '=') or (Pos(c, TableBase64) < 1) then
  943.         begin
  944.           Dec(n);
  945.           Break;
  946.         end;
  947.         s := s + c;
  948.       end;
  949.       if s = '' then
  950.         s := '+'
  951.       else
  952.         s := DecodeBase64(s);
  953.       Result := Result + s;
  954.     end;
  955.   end;
  956. end;
  957.  
  958. {==============================================================================}
  959. function UCS2toUTF7(const Value: string): string;
  960. var
  961.   s: string;
  962.   b1, b2, b3, b4: Byte;
  963.   n, m: Integer;
  964. begin
  965.   Result := '';
  966.   n := 1;
  967.   while Length(Value) >= n do
  968.   begin
  969.     ReadMulti(Value, n, 2, b1, b2, b3, b4);
  970.     if (b2 = 0) and (b1 < 128) then
  971.       if Char(b1) = '+' then
  972.         Result := Result + '+-'
  973.       else
  974.         Result := Result + Char(b1)
  975.     else
  976.     begin
  977.       s := Char(b2) + Char(b1);
  978.       while Length(Value) >= n do
  979.       begin
  980.         ReadMulti(Value, n, 2, b1, b2, b3, b4);
  981.         if (b2 = 0) and (b1 < 128) then
  982.         begin
  983.           Dec(n, 2);
  984.           Break;
  985.         end;
  986.         s := s + Char(b2) + Char(b1);
  987.       end;
  988.       s := EncodeBase64(s);
  989.       m := Pos('=', s);
  990.       if m > 0 then
  991.         s := Copy(s, 1, m - 1);
  992.       Result := Result + '+' + s + '-';
  993.     end;
  994.   end;
  995. end;
  996.  
  997. {==============================================================================}
  998. function CharsetConversion(Value: string; CharFrom: TMimeChar;
  999.   CharTo: TMimeChar): string;
  1000. begin
  1001.   Result := CharsetConversionEx(Value, CharFrom, CharTo, Replace_None);
  1002. end;
  1003.  
  1004. {==============================================================================}
  1005. function CharsetConversionEx(Value: string; CharFrom: TMimeChar;
  1006.   CharTo: TMimeChar; const TransformTable: array of Word): string;
  1007. var
  1008.   uni: Word;
  1009.   n, m: Integer;
  1010.   b: Byte;
  1011.   b1, b2, b3, b4: Byte;
  1012.   SourceTable, TargetTable: array[128..255] of Word;
  1013.   mbf, mbt: Byte;
  1014. begin
  1015.   GetArray(CharFrom, SourceTable);
  1016.   GetArray(CharTo, TargetTable);
  1017.   mbf := 1;
  1018.   if CharFrom in SetTwo then
  1019.     mbf := 2;
  1020.   if CharFrom in SetFour then
  1021.     mbf := 4;
  1022.   mbt := 1;
  1023.   if CharTo in SetTwo then
  1024.     mbt := 2;
  1025.   if CharTo in SetFour then
  1026.     mbt := 4;
  1027.  
  1028.   if CharFrom = UTF_8 then
  1029.     Value := UTF8toUCS4(Value);
  1030.   if CharFrom = UTF_7 then
  1031.     Value := UTF7toUCS2(Value);
  1032.   Result := '';
  1033.  
  1034.   n := 1;
  1035.   while Length(Value) >= n do
  1036.   begin
  1037.     ReadMulti(Value, n, mbf, b1, b2, b3, b4);
  1038.     if mbf = 1 then
  1039.       if b1 > 127 then
  1040.       begin
  1041.         uni := SourceTable[b1];
  1042.         uni := ReplaceUnicode(uni, TransformTable);
  1043.         b1 := Lo(uni);
  1044.         b2 := Hi(uni);
  1045.       end;
  1046.     // b1..b4 - Unicode Char
  1047.     uni := b2 * 256 + b1;
  1048.     if (b3 <> 0) or (b4 <> 0) then
  1049.     begin
  1050.       b1 := Ord(NotFoundChar);
  1051.       b2 := 0;
  1052.       b3 := 0;
  1053.       b4 := 0;
  1054.     end
  1055.     else
  1056.       if mbt = 1 then
  1057.         if uni > 127 then
  1058.         begin
  1059.           b := Ord(NotFoundChar);
  1060.           for m := 128 to 255 do
  1061.             if TargetTable[m] = uni then
  1062.             begin
  1063.               b := m;
  1064.               Break;
  1065.             end;
  1066.           b1 := b;
  1067.           b2 := 0;
  1068.         end
  1069.         else
  1070.           b1 := Lo(uni);
  1071.     Result := Result + WriteMulti(b1, b2, b3, b4, mbt)
  1072.   end;
  1073.  
  1074.   if CharTo = UTF_7 then
  1075.     Result := UCS2toUTF7(Result);
  1076.   if CharTo = UTF_8 then
  1077.     Result := UCS4toUTF8(Result);
  1078.  
  1079. end;
  1080.  
  1081. {==============================================================================}
  1082. {$IFDEF LINUX}
  1083.  
  1084. function GetCurCP: TMimeChar;
  1085. begin
  1086.   Result := GetCPFromID(nl_langinfo(_NL_CTYPE_CODESET_NAME));
  1087. end;
  1088.  
  1089. {$ELSE}
  1090.  
  1091. function GetCurCP: TMimeChar;
  1092. begin
  1093.   case GetACP of
  1094.     1250:
  1095.       Result := CP1250;
  1096.     1251:
  1097.       Result := CP1251;
  1098.     1253:
  1099.       Result := CP1253;
  1100.     1254:
  1101.       Result := CP1254;
  1102.     1255:
  1103.       Result := CP1255;
  1104.     1256:
  1105.       Result := CP1256;
  1106.     1257:
  1107.       Result := CP1257;
  1108.     1258:
  1109.       Result := CP1258;
  1110.   else
  1111.     Result := CP1252;
  1112.   end;
  1113. end;
  1114.  
  1115. {$ENDIF}
  1116.  
  1117. {==============================================================================}
  1118. function GetCPFromID(Value: string): TMimeChar;
  1119. begin
  1120.   Value := UpperCase(Value);
  1121.   Result := ISO_8859_1;
  1122.   if Pos('ISO-8859-10', Value) = 1 then
  1123.     Result := ISO_8859_10
  1124.   else
  1125.   if Pos('ISO-8859-13', Value) = 1 then
  1126.     Result := ISO_8859_13
  1127.   else
  1128.   if Pos('ISO-8859-14', Value) = 1 then
  1129.     Result := ISO_8859_14
  1130.   else
  1131.   if Pos('ISO-8859-15', Value) = 1 then
  1132.     Result := ISO_8859_15
  1133.   else
  1134.   if Pos('ISO-8859-2', Value) = 1 then
  1135.     Result := ISO_8859_2
  1136.   else
  1137.   if Pos('ISO-8859-3', Value) = 1 then
  1138.     Result := ISO_8859_3
  1139.   else
  1140.   if Pos('ISO-8859-4', Value) = 1 then
  1141.     Result := ISO_8859_4
  1142.   else
  1143.   if Pos('ISO-8859-5', Value) = 1 then
  1144.     Result := ISO_8859_5
  1145.   else
  1146.   if Pos('ISO-8859-6', Value) = 1 then
  1147.     Result := ISO_8859_6
  1148.   else
  1149.   if Pos('ISO-8859-7', Value) = 1 then
  1150.     Result := ISO_8859_7
  1151.   else
  1152.   if Pos('ISO-8859-8', Value) = 1 then
  1153.     Result := ISO_8859_8
  1154.   else
  1155.   if Pos('ISO-8859-9', Value) = 1 then
  1156.     Result := ISO_8859_9
  1157.   else
  1158.   if (Pos('WINDOWS-1250', Value) = 1) or (Pos('X-CP1250', Value) = 1) then
  1159.     Result := CP1250
  1160.   else
  1161.   if (Pos('WINDOWS-1251', Value) = 1) or (Pos('X-CP1251', Value) = 1) then
  1162.     Result := CP1251
  1163.   else
  1164.   if (Pos('WINDOWS-1252', Value) = 1) or (Pos('X-CP1252', Value) = 1) then
  1165.     Result := CP1252
  1166.   else
  1167.   if (Pos('WINDOWS-1253', Value) = 1) or (Pos('X-CP1253', Value) = 1) then
  1168.     Result := CP1253
  1169.   else
  1170.   if (Pos('WINDOWS-1254', Value) = 1) or (Pos('X-CP1254', Value) = 1) then
  1171.     Result := CP1254
  1172.   else
  1173.   if (Pos('WINDOWS-1255', Value) = 1) or (Pos('X-CP1255', Value) = 1) then
  1174.     Result := CP1255
  1175.   else
  1176.   if (Pos('WINDOWS-1256', Value) = 1) or (Pos('X-CP1256', Value) = 1) then
  1177.     Result := CP1256
  1178.   else
  1179.   if (Pos('WINDOWS-1257', Value) = 1) or (Pos('X-CP1257', Value) = 1) then
  1180.     Result := CP1257
  1181.   else
  1182.   if (Pos('WINDOWS-1258', Value) = 1) or (Pos('X-CP1258', Value) = 1) then
  1183.     Result := CP1258
  1184.   else
  1185.   if Pos('KOI8-R', Value) = 1 then
  1186.     Result := KOI8_R
  1187.   else
  1188.   if (Pos('KAMENICKY', Value) > 0) or (Pos('895', Value) > 0) then
  1189.     Result := CP895
  1190.   else
  1191.   if (Pos('LATIN-2', Value) > 0) or (Pos('852', Value) > 0) then
  1192.     Result := CP852
  1193.   else
  1194.   if Pos('UTF-7', Value) = 1 then
  1195.     Result := UTF_7
  1196.   else
  1197.   if Pos('UTF-8', Value) > 0 then
  1198.     Result := UTF_8
  1199.   else
  1200.   if Pos('UCS-4', Value) > 0 then
  1201.     Result := UCS_4
  1202.   else
  1203.   if Pos('UCS-2', Value) > 0 then
  1204.     Result := UCS_2
  1205.   else
  1206.   if Pos('UNICODE', Value) = 1 then
  1207.     Result := UCS_2
  1208. end;
  1209.  
  1210. {==============================================================================}
  1211. function GetIDFromCP(Value: TMimeChar): string;
  1212. begin
  1213.   case Value of
  1214.     ISO_8859_2:
  1215.       Result := 'ISO-8859-2';
  1216.     ISO_8859_3:
  1217.       Result := 'ISO-8859-3';
  1218.     ISO_8859_4:
  1219.       Result := 'ISO-8859-4';
  1220.     ISO_8859_5:
  1221.       Result := 'ISO-8859-5';
  1222.     ISO_8859_6:
  1223.       Result := 'ISO-8859-6';
  1224.     ISO_8859_7:
  1225.       Result := 'ISO-8859-7';
  1226.     ISO_8859_8:
  1227.       Result := 'ISO-8859-8';
  1228.     ISO_8859_9:
  1229.       Result := 'ISO-8859-9';
  1230.     ISO_8859_10:
  1231.       Result := 'ISO-8859-10';
  1232.     ISO_8859_13:
  1233.       Result := 'ISO-8859-13';
  1234.     ISO_8859_14:
  1235.       Result := 'ISO-8859-14';
  1236.     ISO_8859_15:
  1237.       Result := 'ISO-8859-15';
  1238.     CP1250:
  1239.       Result := 'WINDOWS-1250';
  1240.     CP1251:
  1241.       Result := 'WINDOWS-1251';
  1242.     CP1252:
  1243.       Result := 'WINDOWS-1252';
  1244.     CP1253:
  1245.       Result := 'WINDOWS-1253';
  1246.     CP1254:
  1247.       Result := 'WINDOWS-1254';
  1248.     CP1255:
  1249.       Result := 'WINDOWS-1255';
  1250.     CP1256:
  1251.       Result := 'WINDOWS-1256';
  1252.     CP1257:
  1253.       Result := 'WINDOWS-1257';
  1254.     CP1258:
  1255.       Result := 'WINDOWS-1258';
  1256.     KOI8_R:
  1257.       Result := 'KOI8-R';
  1258.     CP895:
  1259.       Result := 'CP-895';
  1260.     CP852:
  1261.       Result := 'CP-852';
  1262.     UCS_2:
  1263.       Result := 'Unicode-1-1-UCS-2';
  1264.     UCS_4:
  1265.       Result := 'Unicode-1-1-UCS-4';
  1266.     UTF_8:
  1267.       Result := 'UTF-8';
  1268.     UTF_7:
  1269.       Result := 'UTF-7';
  1270.   else
  1271.     Result := 'ISO-8859-1';
  1272.   end;
  1273. end;
  1274.  
  1275. {==============================================================================}
  1276. function NeedCharsetConversion(const Value: string): Boolean;
  1277. var
  1278.   n: Integer;
  1279. begin
  1280.   Result := False;
  1281.   for n := 1 to Length(Value) do
  1282.     if Ord(Value[n]) > 127 then
  1283.     begin
  1284.       Result := True;
  1285.       Break;
  1286.     end;
  1287. end;
  1288.  
  1289. {==============================================================================}
  1290. function IdealCharsetCoding(const Value: string; CharFrom: TMimeChar;
  1291.   CharTo: TMimeSetChar): TMimeChar;
  1292. var
  1293.   n, m: Integer;
  1294.   min, x: Integer;
  1295.   s, t: string;
  1296. begin
  1297.   Result := ISO_8859_1;
  1298.   s := '';
  1299.   for n := 1 to Length(Value) do
  1300.     if Ord(Value[n]) > 127 then
  1301.       s := s + Value[n];
  1302.   min := 128;
  1303.   for n := Ord(Low(TMimeChar)) to Ord(High(TMimeChar)) do
  1304.     if TMimeChar(n) in CharTo then
  1305.     begin
  1306.       t := CharsetConversion(s, CharFrom, TMimeChar(n));
  1307.       x := 0;
  1308.       for m := 1 to Length(t) do
  1309.         if t[m] = NotFoundChar then
  1310.           Inc(x);
  1311.       if x < min then
  1312.       begin
  1313.         min := x;
  1314.         Result := TMimeChar(n);
  1315.         if x = 0 then
  1316.           Break;
  1317.       end;
  1318.     end;
  1319. end;
  1320.  
  1321. end.
  1322.