PageRenderTime 103ms CodeModel.GetById 10ms app.highlight 88ms RepoModel.GetById 1ms app.codeStats 0ms

/extensions/universalchardet/src/base/nsMBCSSM.cpp

http://github.com/zpao/v8monkey
C++ | 513 lines | 361 code | 41 blank | 111 comment | 0 complexity | 0ea566e9f0a4d503415de880e6d8b19f MD5 | raw file
  1/* -*- Mode: C; tab-width: 4; indent-tabs-mode: nil; c-basic-offset: 2 -*- */
  2/* ***** BEGIN LICENSE BLOCK *****
  3 * Version: MPL 1.1/GPL 2.0/LGPL 2.1
  4 *
  5 * The contents of this file are subject to the Mozilla Public License Version
  6 * 1.1 (the "License"); you may not use this file except in compliance with
  7 * the License. You may obtain a copy of the License at
  8 * http://www.mozilla.org/MPL/
  9 *
 10 * Software distributed under the License is distributed on an "AS IS" basis,
 11 * WITHOUT WARRANTY OF ANY KIND, either express or implied. See the License
 12 * for the specific language governing rights and limitations under the
 13 * License.
 14 *
 15 * The Original Code is mozilla.org code.
 16 *
 17 * The Initial Developer of the Original Code is
 18 * Netscape Communications Corporation.
 19 * Portions created by the Initial Developer are Copyright (C) 1998
 20 * the Initial Developer. All Rights Reserved.
 21 *
 22 * Contributor(s):
 23 *
 24 * Alternatively, the contents of this file may be used under the terms of
 25 * either the GNU General Public License Version 2 or later (the "GPL"), or
 26 * the GNU Lesser General Public License Version 2.1 or later (the "LGPL"),
 27 * in which case the provisions of the GPL or the LGPL are applicable instead
 28 * of those above. If you wish to allow use of your version of this file only
 29 * under the terms of either the GPL or the LGPL, and not to allow others to
 30 * use your version of this file under the terms of the MPL, indicate your
 31 * decision by deleting the provisions above and replace them with the notice
 32 * and other provisions required by the GPL or the LGPL. If you do not delete
 33 * the provisions above, a recipient may use your version of this file under
 34 * the terms of any one of the MPL, the GPL or the LGPL.
 35 *
 36 * ***** END LICENSE BLOCK ***** */
 37#include "nsCodingStateMachine.h"
 38
 39/*
 40Modification from frank tang's original work:
 41. 0x00 is allowed as a legal character. Since some web pages contains this char in 
 42  text stream.
 43*/
 44
 45// BIG5 
 46
 47static const PRUint32 BIG5_cls [ 256 / 8 ] = {
 48//PCK4BITS(0,1,1,1,1,1,1,1),  // 00 - 07 
 49PCK4BITS(1,1,1,1,1,1,1,1),  // 00 - 07    //allow 0x00 as legal value
 50PCK4BITS(1,1,1,1,1,1,0,0),  // 08 - 0f 
 51PCK4BITS(1,1,1,1,1,1,1,1),  // 10 - 17 
 52PCK4BITS(1,1,1,0,1,1,1,1),  // 18 - 1f 
 53PCK4BITS(1,1,1,1,1,1,1,1),  // 20 - 27 
 54PCK4BITS(1,1,1,1,1,1,1,1),  // 28 - 2f 
 55PCK4BITS(1,1,1,1,1,1,1,1),  // 30 - 37 
 56PCK4BITS(1,1,1,1,1,1,1,1),  // 38 - 3f 
 57PCK4BITS(2,2,2,2,2,2,2,2),  // 40 - 47 
 58PCK4BITS(2,2,2,2,2,2,2,2),  // 48 - 4f 
 59PCK4BITS(2,2,2,2,2,2,2,2),  // 50 - 57 
 60PCK4BITS(2,2,2,2,2,2,2,2),  // 58 - 5f 
 61PCK4BITS(2,2,2,2,2,2,2,2),  // 60 - 67 
 62PCK4BITS(2,2,2,2,2,2,2,2),  // 68 - 6f 
 63PCK4BITS(2,2,2,2,2,2,2,2),  // 70 - 77 
 64PCK4BITS(2,2,2,2,2,2,2,1),  // 78 - 7f 
 65PCK4BITS(4,4,4,4,4,4,4,4),  // 80 - 87 
 66PCK4BITS(4,4,4,4,4,4,4,4),  // 88 - 8f 
 67PCK4BITS(4,4,4,4,4,4,4,4),  // 90 - 97 
 68PCK4BITS(4,4,4,4,4,4,4,4),  // 98 - 9f 
 69PCK4BITS(4,3,3,3,3,3,3,3),  // a0 - a7 
 70PCK4BITS(3,3,3,3,3,3,3,3),  // a8 - af 
 71PCK4BITS(3,3,3,3,3,3,3,3),  // b0 - b7 
 72PCK4BITS(3,3,3,3,3,3,3,3),  // b8 - bf 
 73PCK4BITS(3,3,3,3,3,3,3,3),  // c0 - c7 
 74PCK4BITS(3,3,3,3,3,3,3,3),  // c8 - cf 
 75PCK4BITS(3,3,3,3,3,3,3,3),  // d0 - d7 
 76PCK4BITS(3,3,3,3,3,3,3,3),  // d8 - df 
 77PCK4BITS(3,3,3,3,3,3,3,3),  // e0 - e7 
 78PCK4BITS(3,3,3,3,3,3,3,3),  // e8 - ef 
 79PCK4BITS(3,3,3,3,3,3,3,3),  // f0 - f7 
 80PCK4BITS(3,3,3,3,3,3,3,0)   // f8 - ff 
 81};
 82
 83
 84static const PRUint32 BIG5_st [ 3] = {
 85PCK4BITS(eError,eStart,eStart,     3,eError,eError,eError,eError),//00-07 
 86PCK4BITS(eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError),//08-0f 
 87PCK4BITS(eError,eStart,eStart,eStart,eStart,eStart,eStart,eStart) //10-17 
 88};
 89
 90static const PRUint32 Big5CharLenTable[] = {0, 1, 1, 2, 0};
 91
 92SMModel const Big5SMModel = {
 93  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, BIG5_cls },
 94    5,
 95  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, BIG5_st },
 96  Big5CharLenTable,
 97  "Big5",
 98};
 99
100static const PRUint32 EUCJP_cls [ 256 / 8 ] = {
101//PCK4BITS(5,4,4,4,4,4,4,4),  // 00 - 07 
102PCK4BITS(4,4,4,4,4,4,4,4),  // 00 - 07 
103PCK4BITS(4,4,4,4,4,4,5,5),  // 08 - 0f 
104PCK4BITS(4,4,4,4,4,4,4,4),  // 10 - 17 
105PCK4BITS(4,4,4,5,4,4,4,4),  // 18 - 1f 
106PCK4BITS(4,4,4,4,4,4,4,4),  // 20 - 27 
107PCK4BITS(4,4,4,4,4,4,4,4),  // 28 - 2f 
108PCK4BITS(4,4,4,4,4,4,4,4),  // 30 - 37 
109PCK4BITS(4,4,4,4,4,4,4,4),  // 38 - 3f 
110PCK4BITS(4,4,4,4,4,4,4,4),  // 40 - 47 
111PCK4BITS(4,4,4,4,4,4,4,4),  // 48 - 4f 
112PCK4BITS(4,4,4,4,4,4,4,4),  // 50 - 57 
113PCK4BITS(4,4,4,4,4,4,4,4),  // 58 - 5f 
114PCK4BITS(4,4,4,4,4,4,4,4),  // 60 - 67 
115PCK4BITS(4,4,4,4,4,4,4,4),  // 68 - 6f 
116PCK4BITS(4,4,4,4,4,4,4,4),  // 70 - 77 
117PCK4BITS(4,4,4,4,4,4,4,4),  // 78 - 7f 
118PCK4BITS(5,5,5,5,5,5,5,5),  // 80 - 87 
119PCK4BITS(5,5,5,5,5,5,1,3),  // 88 - 8f 
120PCK4BITS(5,5,5,5,5,5,5,5),  // 90 - 97 
121PCK4BITS(5,5,5,5,5,5,5,5),  // 98 - 9f 
122PCK4BITS(5,2,2,2,2,2,2,2),  // a0 - a7 
123PCK4BITS(2,2,2,2,2,2,2,2),  // a8 - af 
124PCK4BITS(2,2,2,2,2,2,2,2),  // b0 - b7 
125PCK4BITS(2,2,2,2,2,2,2,2),  // b8 - bf 
126PCK4BITS(2,2,2,2,2,2,2,2),  // c0 - c7 
127PCK4BITS(2,2,2,2,2,2,2,2),  // c8 - cf 
128PCK4BITS(2,2,2,2,2,2,2,2),  // d0 - d7 
129PCK4BITS(2,2,2,2,2,2,2,2),  // d8 - df 
130PCK4BITS(0,0,0,0,0,0,0,0),  // e0 - e7 
131PCK4BITS(0,0,0,0,0,0,0,0),  // e8 - ef 
132PCK4BITS(0,0,0,0,0,0,0,0),  // f0 - f7 
133PCK4BITS(0,0,0,0,0,0,0,5)   // f8 - ff 
134};
135
136
137static const PRUint32 EUCJP_st [ 5] = {
138PCK4BITS(     3,     4,     3,     5,eStart,eError,eError,eError),//00-07 
139PCK4BITS(eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe),//08-0f 
140PCK4BITS(eItsMe,eItsMe,eStart,eError,eStart,eError,eError,eError),//10-17 
141PCK4BITS(eError,eError,eStart,eError,eError,eError,     3,eError),//18-1f 
142PCK4BITS(     3,eError,eError,eError,eStart,eStart,eStart,eStart) //20-27 
143};
144
145static const PRUint32 EUCJPCharLenTable[] = {2, 2, 2, 3, 1, 0};
146
147const SMModel EUCJPSMModel = {
148  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCJP_cls },
149   6,
150  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCJP_st },
151  EUCJPCharLenTable,
152  "EUC-JP",
153};
154
155static const PRUint32 EUCKR_cls [ 256 / 8 ] = {
156//PCK4BITS(0,1,1,1,1,1,1,1),  // 00 - 07 
157PCK4BITS(1,1,1,1,1,1,1,1),  // 00 - 07 
158PCK4BITS(1,1,1,1,1,1,0,0),  // 08 - 0f 
159PCK4BITS(1,1,1,1,1,1,1,1),  // 10 - 17 
160PCK4BITS(1,1,1,0,1,1,1,1),  // 18 - 1f 
161PCK4BITS(1,1,1,1,1,1,1,1),  // 20 - 27 
162PCK4BITS(1,1,1,1,1,1,1,1),  // 28 - 2f 
163PCK4BITS(1,1,1,1,1,1,1,1),  // 30 - 37 
164PCK4BITS(1,1,1,1,1,1,1,1),  // 38 - 3f 
165PCK4BITS(1,1,1,1,1,1,1,1),  // 40 - 47 
166PCK4BITS(1,1,1,1,1,1,1,1),  // 48 - 4f 
167PCK4BITS(1,1,1,1,1,1,1,1),  // 50 - 57 
168PCK4BITS(1,1,1,1,1,1,1,1),  // 58 - 5f 
169PCK4BITS(1,1,1,1,1,1,1,1),  // 60 - 67 
170PCK4BITS(1,1,1,1,1,1,1,1),  // 68 - 6f 
171PCK4BITS(1,1,1,1,1,1,1,1),  // 70 - 77 
172PCK4BITS(1,1,1,1,1,1,1,1),  // 78 - 7f 
173PCK4BITS(0,0,0,0,0,0,0,0),  // 80 - 87 
174PCK4BITS(0,0,0,0,0,0,0,0),  // 88 - 8f 
175PCK4BITS(0,0,0,0,0,0,0,0),  // 90 - 97 
176PCK4BITS(0,0,0,0,0,0,0,0),  // 98 - 9f 
177PCK4BITS(0,2,2,2,2,2,2,2),  // a0 - a7 
178PCK4BITS(2,2,2,2,2,3,3,3),  // a8 - af 
179PCK4BITS(2,2,2,2,2,2,2,2),  // b0 - b7 
180PCK4BITS(2,2,2,2,2,2,2,2),  // b8 - bf 
181PCK4BITS(2,2,2,2,2,2,2,2),  // c0 - c7 
182PCK4BITS(2,3,2,2,2,2,2,2),  // c8 - cf 
183PCK4BITS(2,2,2,2,2,2,2,2),  // d0 - d7 
184PCK4BITS(2,2,2,2,2,2,2,2),  // d8 - df 
185PCK4BITS(2,2,2,2,2,2,2,2),  // e0 - e7 
186PCK4BITS(2,2,2,2,2,2,2,2),  // e8 - ef 
187PCK4BITS(2,2,2,2,2,2,2,2),  // f0 - f7 
188PCK4BITS(2,2,2,2,2,2,2,0)   // f8 - ff 
189};
190
191
192static const PRUint32 EUCKR_st [ 2] = {
193PCK4BITS(eError,eStart,     3,eError,eError,eError,eError,eError),//00-07 
194PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart,eStart) //08-0f 
195};
196
197static const PRUint32 EUCKRCharLenTable[] = {0, 1, 2, 0};
198
199const SMModel EUCKRSMModel = {
200  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCKR_cls },
201  4,
202  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCKR_st },
203  EUCKRCharLenTable,
204  "EUC-KR",
205};
206
207static const PRUint32 EUCTW_cls [ 256 / 8 ] = {
208//PCK4BITS(0,2,2,2,2,2,2,2),  // 00 - 07 
209PCK4BITS(2,2,2,2,2,2,2,2),  // 00 - 07 
210PCK4BITS(2,2,2,2,2,2,0,0),  // 08 - 0f 
211PCK4BITS(2,2,2,2,2,2,2,2),  // 10 - 17 
212PCK4BITS(2,2,2,0,2,2,2,2),  // 18 - 1f 
213PCK4BITS(2,2,2,2,2,2,2,2),  // 20 - 27 
214PCK4BITS(2,2,2,2,2,2,2,2),  // 28 - 2f 
215PCK4BITS(2,2,2,2,2,2,2,2),  // 30 - 37 
216PCK4BITS(2,2,2,2,2,2,2,2),  // 38 - 3f 
217PCK4BITS(2,2,2,2,2,2,2,2),  // 40 - 47 
218PCK4BITS(2,2,2,2,2,2,2,2),  // 48 - 4f 
219PCK4BITS(2,2,2,2,2,2,2,2),  // 50 - 57 
220PCK4BITS(2,2,2,2,2,2,2,2),  // 58 - 5f 
221PCK4BITS(2,2,2,2,2,2,2,2),  // 60 - 67 
222PCK4BITS(2,2,2,2,2,2,2,2),  // 68 - 6f 
223PCK4BITS(2,2,2,2,2,2,2,2),  // 70 - 77 
224PCK4BITS(2,2,2,2,2,2,2,2),  // 78 - 7f 
225PCK4BITS(0,0,0,0,0,0,0,0),  // 80 - 87 
226PCK4BITS(0,0,0,0,0,0,6,0),  // 88 - 8f 
227PCK4BITS(0,0,0,0,0,0,0,0),  // 90 - 97 
228PCK4BITS(0,0,0,0,0,0,0,0),  // 98 - 9f 
229PCK4BITS(0,3,4,4,4,4,4,4),  // a0 - a7 
230PCK4BITS(5,5,1,1,1,1,1,1),  // a8 - af 
231PCK4BITS(1,1,1,1,1,1,1,1),  // b0 - b7 
232PCK4BITS(1,1,1,1,1,1,1,1),  // b8 - bf 
233PCK4BITS(1,1,3,1,3,3,3,3),  // c0 - c7 
234PCK4BITS(3,3,3,3,3,3,3,3),  // c8 - cf 
235PCK4BITS(3,3,3,3,3,3,3,3),  // d0 - d7 
236PCK4BITS(3,3,3,3,3,3,3,3),  // d8 - df 
237PCK4BITS(3,3,3,3,3,3,3,3),  // e0 - e7 
238PCK4BITS(3,3,3,3,3,3,3,3),  // e8 - ef 
239PCK4BITS(3,3,3,3,3,3,3,3),  // f0 - f7 
240PCK4BITS(3,3,3,3,3,3,3,0)   // f8 - ff 
241};
242
243
244static const PRUint32 EUCTW_st [ 6] = {
245PCK4BITS(eError,eError,eStart,     3,     3,     3,     4,eError),//00-07 
246PCK4BITS(eError,eError,eError,eError,eError,eError,eItsMe,eItsMe),//08-0f 
247PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,eStart,eError),//10-17 
248PCK4BITS(eStart,eStart,eStart,eError,eError,eError,eError,eError),//18-1f 
249PCK4BITS(     5,eError,eError,eError,eStart,eError,eStart,eStart),//20-27 
250PCK4BITS(eStart,eError,eStart,eStart,eStart,eStart,eStart,eStart) //28-2f 
251};
252
253static const PRUint32 EUCTWCharLenTable[] = {0, 0, 1, 2, 2, 2, 3};
254
255const SMModel EUCTWSMModel = {
256  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCTW_cls },
257   7,
258  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, EUCTW_st },
259  EUCTWCharLenTable,
260  "x-euc-tw",
261};
262
263/* obsolete GB2312 by gb18030
264static PRUint32 GB2312_cls [ 256 / 8 ] = {
265//PCK4BITS(0,1,1,1,1,1,1,1),  // 00 - 07 
266PCK4BITS(1,1,1,1,1,1,1,1),  // 00 - 07 
267PCK4BITS(1,1,1,1,1,1,0,0),  // 08 - 0f 
268PCK4BITS(1,1,1,1,1,1,1,1),  // 10 - 17 
269PCK4BITS(1,1,1,0,1,1,1,1),  // 18 - 1f 
270PCK4BITS(1,1,1,1,1,1,1,1),  // 20 - 27 
271PCK4BITS(1,1,1,1,1,1,1,1),  // 28 - 2f 
272PCK4BITS(1,1,1,1,1,1,1,1),  // 30 - 37 
273PCK4BITS(1,1,1,1,1,1,1,1),  // 38 - 3f 
274PCK4BITS(1,1,1,1,1,1,1,1),  // 40 - 47 
275PCK4BITS(1,1,1,1,1,1,1,1),  // 48 - 4f 
276PCK4BITS(1,1,1,1,1,1,1,1),  // 50 - 57 
277PCK4BITS(1,1,1,1,1,1,1,1),  // 58 - 5f 
278PCK4BITS(1,1,1,1,1,1,1,1),  // 60 - 67 
279PCK4BITS(1,1,1,1,1,1,1,1),  // 68 - 6f 
280PCK4BITS(1,1,1,1,1,1,1,1),  // 70 - 77 
281PCK4BITS(1,1,1,1,1,1,1,1),  // 78 - 7f 
282PCK4BITS(1,0,0,0,0,0,0,0),  // 80 - 87 
283PCK4BITS(0,0,0,0,0,0,0,0),  // 88 - 8f 
284PCK4BITS(0,0,0,0,0,0,0,0),  // 90 - 97 
285PCK4BITS(0,0,0,0,0,0,0,0),  // 98 - 9f 
286PCK4BITS(0,2,2,2,2,2,2,2),  // a0 - a7 
287PCK4BITS(2,2,3,3,3,3,3,3),  // a8 - af 
288PCK4BITS(2,2,2,2,2,2,2,2),  // b0 - b7 
289PCK4BITS(2,2,2,2,2,2,2,2),  // b8 - bf 
290PCK4BITS(2,2,2,2,2,2,2,2),  // c0 - c7 
291PCK4BITS(2,2,2,2,2,2,2,2),  // c8 - cf 
292PCK4BITS(2,2,2,2,2,2,2,2),  // d0 - d7 
293PCK4BITS(2,2,2,2,2,2,2,2),  // d8 - df 
294PCK4BITS(2,2,2,2,2,2,2,2),  // e0 - e7 
295PCK4BITS(2,2,2,2,2,2,2,2),  // e8 - ef 
296PCK4BITS(2,2,2,2,2,2,2,2),  // f0 - f7 
297PCK4BITS(2,2,2,2,2,2,2,0)   // f8 - ff 
298};
299
300
301static PRUint32 GB2312_st [ 2] = {
302PCK4BITS(eError,eStart,     3,eError,eError,eError,eError,eError),//00-07 
303PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart,eStart) //08-0f 
304};
305
306static const PRUint32 GB2312CharLenTable[] = {0, 1, 2, 0};
307
308SMModel GB2312SMModel = {
309  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, GB2312_cls },
310   4,
311  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, GB2312_st },
312  GB2312CharLenTable,
313  "GB2312",
314};
315*/
316
317// the following state machine data was created by perl script in 
318// intl/chardet/tools. It should be the same as in PSM detector.
319static const PRUint32 GB18030_cls [ 256 / 8 ] = {
320PCK4BITS(1,1,1,1,1,1,1,1),  // 00 - 07 
321PCK4BITS(1,1,1,1,1,1,0,0),  // 08 - 0f 
322PCK4BITS(1,1,1,1,1,1,1,1),  // 10 - 17 
323PCK4BITS(1,1,1,0,1,1,1,1),  // 18 - 1f 
324PCK4BITS(1,1,1,1,1,1,1,1),  // 20 - 27 
325PCK4BITS(1,1,1,1,1,1,1,1),  // 28 - 2f 
326PCK4BITS(3,3,3,3,3,3,3,3),  // 30 - 37 
327PCK4BITS(3,3,1,1,1,1,1,1),  // 38 - 3f 
328PCK4BITS(2,2,2,2,2,2,2,2),  // 40 - 47 
329PCK4BITS(2,2,2,2,2,2,2,2),  // 48 - 4f 
330PCK4BITS(2,2,2,2,2,2,2,2),  // 50 - 57 
331PCK4BITS(2,2,2,2,2,2,2,2),  // 58 - 5f 
332PCK4BITS(2,2,2,2,2,2,2,2),  // 60 - 67 
333PCK4BITS(2,2,2,2,2,2,2,2),  // 68 - 6f 
334PCK4BITS(2,2,2,2,2,2,2,2),  // 70 - 77 
335PCK4BITS(2,2,2,2,2,2,2,4),  // 78 - 7f 
336PCK4BITS(5,6,6,6,6,6,6,6),  // 80 - 87 
337PCK4BITS(6,6,6,6,6,6,6,6),  // 88 - 8f 
338PCK4BITS(6,6,6,6,6,6,6,6),  // 90 - 97 
339PCK4BITS(6,6,6,6,6,6,6,6),  // 98 - 9f 
340PCK4BITS(6,6,6,6,6,6,6,6),  // a0 - a7 
341PCK4BITS(6,6,6,6,6,6,6,6),  // a8 - af 
342PCK4BITS(6,6,6,6,6,6,6,6),  // b0 - b7 
343PCK4BITS(6,6,6,6,6,6,6,6),  // b8 - bf 
344PCK4BITS(6,6,6,6,6,6,6,6),  // c0 - c7 
345PCK4BITS(6,6,6,6,6,6,6,6),  // c8 - cf 
346PCK4BITS(6,6,6,6,6,6,6,6),  // d0 - d7 
347PCK4BITS(6,6,6,6,6,6,6,6),  // d8 - df 
348PCK4BITS(6,6,6,6,6,6,6,6),  // e0 - e7 
349PCK4BITS(6,6,6,6,6,6,6,6),  // e8 - ef 
350PCK4BITS(6,6,6,6,6,6,6,6),  // f0 - f7 
351PCK4BITS(6,6,6,6,6,6,6,0)   // f8 - ff 
352};
353
354
355static const PRUint32 GB18030_st [ 6] = {
356PCK4BITS(eError,eStart,eStart,eStart,eStart,eStart,     3,eError),//00-07 
357PCK4BITS(eError,eError,eError,eError,eError,eError,eItsMe,eItsMe),//08-0f 
358PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart),//10-17 
359PCK4BITS(     4,eError,eStart,eStart,eError,eError,eError,eError),//18-1f 
360PCK4BITS(eError,eError,     5,eError,eError,eError,eItsMe,eError),//20-27 
361PCK4BITS(eError,eError,eStart,eStart,eStart,eStart,eStart,eStart) //28-2f 
362};
363
364// To be accurate, the length of class 6 can be either 2 or 4. 
365// But it is not necessary to discriminate between the two since 
366// it is used for frequency analysis only, and we are validing 
367// each code range there as well. So it is safe to set it to be 
368// 2 here. 
369static const PRUint32 GB18030CharLenTable[] = {0, 1, 1, 1, 1, 1, 2};
370
371const SMModel GB18030SMModel = {
372  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, GB18030_cls },
373   7,
374  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, GB18030_st },
375  GB18030CharLenTable,
376  "GB18030",
377};
378
379// sjis
380
381static const PRUint32 SJIS_cls [ 256 / 8 ] = {
382//PCK4BITS(0,1,1,1,1,1,1,1),  // 00 - 07 
383PCK4BITS(1,1,1,1,1,1,1,1),  // 00 - 07 
384PCK4BITS(1,1,1,1,1,1,0,0),  // 08 - 0f 
385PCK4BITS(1,1,1,1,1,1,1,1),  // 10 - 17 
386PCK4BITS(1,1,1,0,1,1,1,1),  // 18 - 1f 
387PCK4BITS(1,1,1,1,1,1,1,1),  // 20 - 27 
388PCK4BITS(1,1,1,1,1,1,1,1),  // 28 - 2f 
389PCK4BITS(1,1,1,1,1,1,1,1),  // 30 - 37 
390PCK4BITS(1,1,1,1,1,1,1,1),  // 38 - 3f 
391PCK4BITS(2,2,2,2,2,2,2,2),  // 40 - 47 
392PCK4BITS(2,2,2,2,2,2,2,2),  // 48 - 4f 
393PCK4BITS(2,2,2,2,2,2,2,2),  // 50 - 57 
394PCK4BITS(2,2,2,2,2,2,2,2),  // 58 - 5f 
395PCK4BITS(2,2,2,2,2,2,2,2),  // 60 - 67 
396PCK4BITS(2,2,2,2,2,2,2,2),  // 68 - 6f 
397PCK4BITS(2,2,2,2,2,2,2,2),  // 70 - 77 
398PCK4BITS(2,2,2,2,2,2,2,1),  // 78 - 7f 
399PCK4BITS(3,3,3,3,3,3,3,3),  // 80 - 87 
400PCK4BITS(3,3,3,3,3,3,3,3),  // 88 - 8f 
401PCK4BITS(3,3,3,3,3,3,3,3),  // 90 - 97 
402PCK4BITS(3,3,3,3,3,3,3,3),  // 98 - 9f 
403//0xa0 is illegal in sjis encoding, but some pages does 
404//contain such byte. We need to be more error forgiven.
405PCK4BITS(2,2,2,2,2,2,2,2),  // a0 - a7     
406PCK4BITS(2,2,2,2,2,2,2,2),  // a8 - af 
407PCK4BITS(2,2,2,2,2,2,2,2),  // b0 - b7 
408PCK4BITS(2,2,2,2,2,2,2,2),  // b8 - bf 
409PCK4BITS(2,2,2,2,2,2,2,2),  // c0 - c7 
410PCK4BITS(2,2,2,2,2,2,2,2),  // c8 - cf 
411PCK4BITS(2,2,2,2,2,2,2,2),  // d0 - d7 
412PCK4BITS(2,2,2,2,2,2,2,2),  // d8 - df 
413PCK4BITS(3,3,3,3,3,3,3,3),  // e0 - e7 
414PCK4BITS(3,3,3,3,3,4,4,4),  // e8 - ef 
415PCK4BITS(4,4,4,4,4,4,4,4),  // f0 - f7 
416PCK4BITS(4,4,4,4,4,0,0,0)   // f8 - ff 
417};
418
419
420static const PRUint32 SJIS_st [ 3] = {
421PCK4BITS(eError,eStart,eStart,     3,eError,eError,eError,eError),//00-07 
422PCK4BITS(eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe),//08-0f 
423PCK4BITS(eItsMe,eItsMe,eError,eError,eStart,eStart,eStart,eStart) //10-17 
424};
425
426static const PRUint32 SJISCharLenTable[] = {0, 1, 1, 2, 0, 0};
427
428const SMModel SJISSMModel = {
429  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, SJIS_cls },
430   6,
431  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, SJIS_st },
432  SJISCharLenTable,
433  "Shift_JIS",
434};
435
436
437static const PRUint32 UTF8_cls [ 256 / 8 ] = {
438//PCK4BITS(0,1,1,1,1,1,1,1),  // 00 - 07 
439PCK4BITS(1,1,1,1,1,1,1,1),  // 00 - 07  //allow 0x00 as a legal value
440PCK4BITS(1,1,1,1,1,1,0,0),  // 08 - 0f 
441PCK4BITS(1,1,1,1,1,1,1,1),  // 10 - 17 
442PCK4BITS(1,1,1,0,1,1,1,1),  // 18 - 1f 
443PCK4BITS(1,1,1,1,1,1,1,1),  // 20 - 27 
444PCK4BITS(1,1,1,1,1,1,1,1),  // 28 - 2f 
445PCK4BITS(1,1,1,1,1,1,1,1),  // 30 - 37 
446PCK4BITS(1,1,1,1,1,1,1,1),  // 38 - 3f 
447PCK4BITS(1,1,1,1,1,1,1,1),  // 40 - 47 
448PCK4BITS(1,1,1,1,1,1,1,1),  // 48 - 4f 
449PCK4BITS(1,1,1,1,1,1,1,1),  // 50 - 57 
450PCK4BITS(1,1,1,1,1,1,1,1),  // 58 - 5f 
451PCK4BITS(1,1,1,1,1,1,1,1),  // 60 - 67 
452PCK4BITS(1,1,1,1,1,1,1,1),  // 68 - 6f 
453PCK4BITS(1,1,1,1,1,1,1,1),  // 70 - 77 
454PCK4BITS(1,1,1,1,1,1,1,1),  // 78 - 7f 
455PCK4BITS(2,2,2,2,3,3,3,3),  // 80 - 87 
456PCK4BITS(4,4,4,4,4,4,4,4),  // 88 - 8f 
457PCK4BITS(4,4,4,4,4,4,4,4),  // 90 - 97 
458PCK4BITS(4,4,4,4,4,4,4,4),  // 98 - 9f 
459PCK4BITS(5,5,5,5,5,5,5,5),  // a0 - a7 
460PCK4BITS(5,5,5,5,5,5,5,5),  // a8 - af 
461PCK4BITS(5,5,5,5,5,5,5,5),  // b0 - b7 
462PCK4BITS(5,5,5,5,5,5,5,5),  // b8 - bf 
463PCK4BITS(0,0,6,6,6,6,6,6),  // c0 - c7 
464PCK4BITS(6,6,6,6,6,6,6,6),  // c8 - cf 
465PCK4BITS(6,6,6,6,6,6,6,6),  // d0 - d7 
466PCK4BITS(6,6,6,6,6,6,6,6),  // d8 - df 
467PCK4BITS(7,8,8,8,8,8,8,8),  // e0 - e7 
468PCK4BITS(8,8,8,8,8,9,8,8),  // e8 - ef 
469PCK4BITS(10,11,11,11,11,11,11,11),  // f0 - f7 
470PCK4BITS(12,13,13,13,14,15,0,0)   // f8 - ff 
471};
472
473
474static const PRUint32 UTF8_st [ 26] = {
475PCK4BITS(eError,eStart,eError,eError,eError,eError,     12,     10),//00-07 
476PCK4BITS(     9,     11,     8,     7,     6,     5,     4,     3),//08-0f 
477PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//10-17 
478PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//18-1f 
479PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe),//20-27 
480PCK4BITS(eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe),//28-2f 
481PCK4BITS(eError,eError,     5,     5,     5,     5,eError,eError),//30-37 
482PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//38-3f 
483PCK4BITS(eError,eError,eError,     5,     5,     5,eError,eError),//40-47 
484PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//48-4f 
485PCK4BITS(eError,eError,     7,     7,     7,     7,eError,eError),//50-57 
486PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//58-5f 
487PCK4BITS(eError,eError,eError,eError,     7,     7,eError,eError),//60-67 
488PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//68-6f 
489PCK4BITS(eError,eError,     9,     9,     9,     9,eError,eError),//70-77 
490PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//78-7f 
491PCK4BITS(eError,eError,eError,eError,eError,     9,eError,eError),//80-87 
492PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//88-8f 
493PCK4BITS(eError,eError,     12,     12,     12,     12,eError,eError),//90-97 
494PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//98-9f 
495PCK4BITS(eError,eError,eError,eError,eError,     12,eError,eError),//a0-a7 
496PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//a8-af 
497PCK4BITS(eError,eError,     12,     12,     12,eError,eError,eError),//b0-b7 
498PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError),//b8-bf 
499PCK4BITS(eError,eError,eStart,eStart,eStart,eStart,eError,eError),//c0-c7 
500PCK4BITS(eError,eError,eError,eError,eError,eError,eError,eError) //c8-cf 
501};
502
503static const PRUint32 UTF8CharLenTable[] = {0, 1, 0, 0, 0, 0, 2, 3, 
504                            3, 3, 4, 4, 5, 5, 6, 6 };
505
506const SMModel UTF8SMModel = {
507  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, UTF8_cls },
508   16,
509  {eIdxSft4bits, eSftMsk4bits, eBitSft4bits, eUnitMsk4bits, UTF8_st },
510  UTF8CharLenTable,
511  "UTF-8",
512};
513