nanochat-studay/test_tokenizer.merges at main · lora-sys/nanochat-studay · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
32 32 -> 256
256 32 -> 257
105 110 -> 258
32 116 -> 259
32 97 -> 260
258 103 -> 261
228 184 -> 262
101 110 -> 263
108 101 -> 264
46 10 -> 265
32 115 -> 266
32 102 -> 267
115 116 -> 268
111 114 -> 269
32 80 -> 270
32 74 -> 271
271 97 -> 272
272 118 -> 273
273 97 -> 274
32 84 -> 275
97 109 -> 276
111 110 -> 277
101 114 -> 278
114 101 -> 279
105 115 -> 280
270 121 -> 281
281 116 -> 282
282 104 -> 283
283 277 -> 284
114 111 -> 285
32 100 -> 286
260 110 -> 287
287 100 -> 288
32 264 -> 289
289 97 -> 290
290 114 -> 291
291 110 -> 292
292 261 -> 293
232 175 -> 294
239 188 -> 295
102 105 -> 296
83 99 -> 297
297 114 -> 298
298 105 -> 299
299 112 -> 300
300 116 -> 301
99 105 -> 302
258 101 -> 303
101 108 -> 304
304 108 -> 305
101 120 -> 306
101 268 -> 307
275 104 -> 308
32 280 -> 309
267 269 -> 310
285 103 -> 311
311 114 -> 312
312 276 -> 313
313 109 -> 314
314 261 -> 315
97 116 -> 316
263 99 -> 317
317 101 -> 318
97 99 -> 319
319 104 -> 320
320 303 -> 321
232 191 -> 322
322 153 -> 323
323 230 -> 324
324 152 -> 325
325 175 -> 326
326 262 -> 327
327 128 -> 328
328 262 -> 329
329 170 -> 330
330 230 -> 331
331 181 -> 332
332 139 -> 333
333 294 -> 334
334 149 -> 335
230 150 -> 336
336 135 -> 337
295 140 -> 338
227 128 -> 339
339 130 -> 340
340 10 -> 341
117 109 -> 342
49 49 -> 343
50 50 -> 344
51 51 -> 345
52 52 -> 346
53 53 -> 347
32 60 -> 348
348 124 -> 349
124 62 -> 350
32 111 -> 351
32 108 -> 352
352 97 -> 353
32 67 -> 354
43 43 -> 355
274 301 -> 356
32 82 -> 357
357 117 -> 358
358 268 -> 359
32 258 -> 360
276 112 -> 361
361 264 -> 362
306 116 -> 363
259 111 -> 364
364 107 -> 365
365 263 -> 366
49 50 -> 367
51 52 -> 368
54 55 -> 369
56 57 -> 370
32 83 -> 371
104 116 -> 372
112 101 -> 373
302 97 -> 374
374 108 -> 375
267 111 -> 376
259 104 -> 377
105 103 -> 378
305 111 -> 379
269 108 -> 380
380 100 -> 381
108 115 -> 382
101 116 -> 383
112 115 -> 384
97 103 -> 385
385 101 -> 386
296 109 -> 387
32 72 -> 388
388 379 -> 389
32 87 -> 390
390 381 -> 391
308 280 -> 392
266 362 -> 393
259 363 -> 394
259 307 -> 395
395 261 -> 396
32 66 -> 397
397 80 -> 398
398 69 -> 399
366 105 -> 400
400 122 -> 401
401 278 -> 402
32 112 -> 403
403 315 -> 404
32 103 -> 405
405 279 -> 406
406 316 -> 407
286 316 -> 408
408 97 -> 409
266 302 -> 410
410 318 -> 411
32 109 -> 412
412 321 -> 413
32 335 -> 414
414 231 -> 415
415 148 -> 416
416 168 -> 417
417 231 -> 418
418 154 -> 419
419 132 -> 420
420 262 -> 421
421 173 -> 422
422 337 -> 423
423 337 -> 424
424 230 -> 425
425 156 -> 426
426 172 -> 427
338 229 -> 428
428 140 -> 429
429 133 -> 430
430 229 -> 431
431 144 -> 432
432 171 -> 433
433 229 -> 434
434 164 -> 435
435 154 -> 436
436 231 -> 437
437 167 -> 438
438 141 -> 439
439 294 -> 440
440 173 -> 441
441 232 -> 442
442 168 -> 443
443 128 -> 444
32 78 -> 445
445 342 -> 446
446 98 -> 447
447 278 -> 448
448 115 -> 449
371 121 -> 450
450 109 -> 451
451 98 -> 452
452 111 -> 453
453 382 -> 454
32 64 -> 455
455 35 -> 456
456 36 -> 457
457 37 -> 458
458 38 -> 459
459 42 -> 460
460 40 -> 461
461 41 -> 462
462 95 -> 463
463 43 -> 464
464 45 -> 465
465 61 -> 466
466 91 -> 467
467 93 -> 468
468 123 -> 469
469 125 -> 470
470 124 -> 471
471 59 -> 472
472 39 -> 473
473 58 -> 474
474 34 -> 475
475 44 -> 476
476 46 -> 477
477 47 -> 478
478 60 -> 479
479 62 -> 480
480 63 -> 481
481 10 -> 482
32 228 -> 483
483 189 -> 484
484 160 -> 485
485 229 -> 486
486 165 -> 487
487 189 -> 488
338 262 -> 489
489 150 -> 490
490 231 -> 491
491 149 -> 492
492 140 -> 493
295 129 -> 494
494 335 -> 495
308 101 -> 496
32 113 -> 497
497 117 -> 498
498 105 -> 499