我正在开发一个我希望保持平台、文件系统和 Python2.x/3.x 独立的库。但是,我不知道如何以独立于平台/文件系统的方式对文件进行 glob 匹配并将文件名与正则表达式进行匹配。
例如(在 Mac 上,使用 IPython、Python 2.7):
In[7]: from glob import glob
In[8]: !touch 'ü-0.é' # Create the file in the current folder
In[9]: glob(u'ü-*.é')
Out[9]: []
In[10]: import unicodedata as U
In[11]: glob(U.normalize('NFD', u'ü-*.é'))
Out[11]: [u'u\u0308-0.e\u0301']
但是,这在 Linux 或 Windows 上不起作用,我需要 unicode.normalize('NFC', u'ü-*.é')。当我尝试将文件名与正则表达式进行匹配时,会出现同样的问题:只有在 Mac 上规范化为 NFD 的 unicode 正则表达式匹配文件名,而只有 NFC 正则表达式匹配在 Linux/Windows 上读取的文件名(我在这两种情况下都使用了 re.UNICODE 标志)。
是否有处理此问题的标准方法?
我希望就像 sys.getfilesystemencoding() 返回文件系统的编码一样,存在一个返回底层文件系统使用的 Unicode 规范化的函数。
但是,我既找不到这样的函数,也找不到对其进行功能测试的安全/标准方法。
Mac + HFS+ 使用 NFD 规范化:https://apple.stackexchange.com/a/10484
Linux + Windows 使用NFC规范化:http://qerub.se/filenames-and-unicode-normalization-forms
代码链接:https://github.com/musically-ut/seqfile/blob/feat-unicode/seqfile/seqfile.py
请您参考如下方法:
我假设你想匹配 unicode equivalent文件名,例如您希望 u'\xE9*' 的输入模式匹配文件名 u'\xE9qui' 和 u'e\u0301qui'任何操作系统,即字符级模式匹配。
你必须明白这不是 Linux 上的默认设置,其中字节被视为字节,并且在当前系统编码中并非每个文件名都是有效的 unicode 字符串(尽管 Python 3 使用 'surrogateescape' 错误处理程序来无论如何将它们表示为 str)。
考虑到这一点,这是我的解决方案:
def myglob(pattern, directory=u'.'):
pattern = unicodedata.normalize('NFC', pattern)
results = []
enc = sys.getfilesystemencoding()
for name in os.listdir(directory):
if isinstance(name, bytes):
try:
name = name.decode(enc)
except UnicodeDecodeError:
# Filenames that are not proper unicode won't match any pattern
continue
if fnmatch.filter([unicodedata.normalize('NFC', name)], pattern):
results.append(name)
return results
