Hugging Face's logo

Spaces:
xu-song
/
tokenizer-arena
Running

App Files Community
1
tokenizer-arena
File size: 3,448 Bytes 
751936e
1b7fc74
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
 
"""
这个detect_language函数通过定义一系列语言字符的Unicode范围，然后使用regex包来检查输入字符串是否包含这些范围内的字符，
从而尝试确定字符串可能使用的语言。函数返回一个列表，包含所有匹配的语言名称；如果没有检测到已定义范围内的字符，则返回['Unknown']。

请注意，由于某些语言（如中文和日文）共享字符集的部分范围，这可能导致某些字符串被识别为多种语言。
此外，Latin范围非常广泛，几乎包括了所有西方语言的基本字母，因此可能需要更细致的逻辑来区分使用拉丁字母的具体语言。


通过检查特定的字母和重音符号来区分一些使用拉丁字母的语言。
然而，需要强调的是，这种方法的准确性受限于所选语言特征的全面性和独特性。
例如，English的检测范围仅限于基本的A-Z字母，这可能导致它与其他使用相同字母集的语言重叠。
此外，有些语言（如法语和西班牙语）在某些情况下可能共享特定的重音符号，这可能导致一个字符串被错误地识别为多种语言。
"""

import re


# 由于大部分是'latin'，所以就不统计了。
common = ['Chinese', 'Japanese-Kana', 'Korean', 'Arabic',  'number']

def detect_language(s):
    # 定义各语言字符的Unicode范围
    language_ranges = {
        'Arabic': r'[\u0600-\u06FF\u0750-\u077F\u08A0-\u08FF\uFB50-\uFDFF\uFE70-\uFEFF]',
        # 'CJK'  https://en.wikipedia.org/wiki/CJK_Unified_Ideographs
        'Chinese': r'[\u4e00-\u9fff]',
        'Japanese': r'[\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\u3400-\u4DBF]',  # https://stackoverflow.com/questions/19899554/unicode-range-for-japanese
        'Japanese-Kana': r'[\u3040-\u309F\u30A0-\u30FF]',  # Hiragana  & Katakana
        # 'Korean': r'[\uac00-\ud7a3]',
        'Hangul': r'[\uac00-\ud7a3]',


        # 拉丁字母系列
        'Latin': r'[\u0000-\u007F\u0080-\u00FF]',
        'English': r'[A-Za-z]',  # 这可能会与其他使用基本拉丁字母的语言重叠
        'French': r'[\u00C0-\u00FF]',
        'German': r'[\u00C4\u00D6\u00DC\u00E4\u00F6\u00FC\u00DF]',
        'Spanish-': r'[\u00C1\u00E1\u00C9\u00E9\u00CD\u00ED\u00D3\u00F3\u00DA\u00FA\u00D1\u00F1\u00FC]',  # 西班牙语特有字符集合


        # 斯拉夫语族
        'Cyrillic': r'[\u0400-\u04FF\u0500-\u052F\u2DE0-\u2DFF\uA640-\uA69F]',

        #
        'Greek': r'[\u0370-\u03FF\u1F00-\u1FFF]',   # 希腊字母
        'Hebrew': r'[\u0590-\u05FF\uFB1D-\uFB4F]',  # 希伯来语


    }

    detected_languages = []

    for language, pattern in language_ranges.items():
        if re.search(pattern, s):
            detected_languages.append(language)

    return detected_languages if detected_languages else ['Unknown']


if __name__ == "__main__":

    # 测试函数
    test_strings = {
        # 拉丁语系
        'Hello, world!': "English/Latin",
        'Hola': "Spanish",
        'Bonjour': "French",
        'Guten Tag': "German",
        'Empieza donde estás. ': "Spanish",


        # CJK
        '你好': "Chinese",
        'こんにちは': "Japanese",
        '안녕하세요': "Korean",

        # 其他
        'Привет': "Russian/Cyrillic",
        'مرحبا': "Arabic",

    }

    for s, expected in test_strings.items():
        print(f"'{s}' detected as: {detect_language(s)} (Expected: {expected})")