Skip to main content
 首页 » 编程设计

python之Pyparsing 顺序未知且某些项目可能丢失的字符串

2025年05月04日20hnrainll

我正在尝试从大约 30,000 个文件名中解析数据。下面是几个例子:

A0038clone11-BA28.ab1 
A038clone11-BA31.ab1 
A0038clone11-BA32.ab1 
A0001-R00-tatI-BA29.ab1 
A0001-R00-V3-BA31.ab1 
A0001-R00-LTR-BA43.ab1 
A0001-R00-BA81-tat1.ab1 
A0002_R07-Primer7.ab1 
A0016_A0053_R01-Primer5.ab1 
A0016:A0053-R02-Primer7.ab1 
A0017_A0054_R04-Primer5.ab1 
A0017_A0054_R07-Primer5.ab1 
A0037_R06_042712-Primer7_R.ab1 
A0037_R07-Primer5_R.ab1 
A0041-R01-12Feb-BA87-tat2.ab1 
A0094-R00-BA88-fall to early.ab1 
A0094-R02-BA88-need to repeat.ab1 
A0107-R01-WZ5-BA86-tat1.ab1 
A0111_R04_P5_GC-Primer5.ab1 
A0179-R02LTR-BA83_R-bad seq.ab1 

我正在尝试提取以下内容:

  • 患者编号(A0 左右)
  • 访问编号(R-something)经常丢失,我假设默认值为 R00
  • Primer(BA-something 或 Primer-something)
  • 经常丢失的克隆号(克隆之类的东西),我假设是 clone01

我是 pyparsing 的新手,所以我需要一些帮助。

我的第一个猜测是做类似的事情:

pat = pyp.Combine(pyp.Word('A') + pyp.Word(pyp.nums)) 
visit = pyp.Combine(pyp.Word('R') + pyp.Word(pyp.nums)) 
clone = pyp.Combine('clone' + pyp.Word(pyp.nums)) 
 
primer = pyp.Combine(pyp.oneOf('Primer BA', caseless=True) + pyp.Word(pyp.nums)) 
extension = pyp.Combine(pyp.Optional(pyp.CaselessLiteral('_R'))+pyp.CaselessLiteral('.ab1')) 
 
parser = pat + pyp.Optional(visit, default='R00') + pyp.Optional(clone, default='clone01') + primer + extension 
parser.setDefaultWhitespaceChars(' -/:_-') 

但是当订单关闭或其中有额外的单词(如 tatI、V3 等)时,这将失败。

使用来自 Pyparsing - where order of tokens in unpredictable 的建议我尝试使用 OneOrMore 运算符,例如:

parser = pyp.OneOrMore(pyp.MatchFirst([pat,  
                                       visit,  
                                       clone,  
                                       primer, 
                                       extension])) 
parser.setDefaultWhitespaceChars(' -/:_-') 

但在某些情况下,这会漏掉 primer:比如 A0001-R00-LTR-BA43.ab1 但不是 A0001-R00-BA81-tat1.ab1 因为我不明白的原因。

如有任何建议,我们将不胜感激!

请您参考如下方法:

你快到了。您需要匹配额外的标记(我假设您不关心)。只需确保额外的匹配项出现在末尾,这样就不会吞噬您感兴趣的内容。使用 names 作为您帖子中定义的列表:

from pyparsing import * 
 
def marker(key): 
    return Combine(CaselessLiteral(key) + Word(nums)) 
 
pat    = marker("a") 
visit  = marker("r") 
clone  = marker("clone") 
primer = marker("ba") | marker("primer") 
sep    = oneOf("- _").suppress() 
other  = Word(alphanums + ":") 
 
file_ext = Literal(".").suppress() + Word(alphanums) 
EOL    = LineEnd().suppress() 
 
tokens = [pat("pat"), 
          visit("visit"), 
          clone("clone"), 
          primer("primer"), 
          sep,other] 
grammar = OneOrMore(MatchFirst(tokens)) + file_ext + EOL 

通过为中间结果命名,例如clone("clone") 我们可以为它们创建一个字典以便于访问:

for result in grammar.scanString(names): 
    print result[0].asDict() 

导致

{'clone': 'clone11', 'primer': 'ba28', 'pat': 'a0038'} 
{'clone': 'clone11', 'primer': 'ba31', 'pat': 'a038'} 
{'clone': 'clone11', 'primer': 'ba32', 'pat': 'a0038'} 
{'pat': 'a0001', 'primer': 'ba29', 'visit': 'r00'} 
{'pat': 'a0001', 'primer': 'ba31', 'visit': 'r00'} 
{'pat': 'a0001', 'primer': 'ba43', 'visit': 'r00'} 
{'pat': 'a0001', 'primer': 'ba81', 'visit': 'r00'} 
{'pat': 'a0002', 'primer': 'primer7', 'visit': 'r07'} 
{'pat': 'a0053', 'primer': 'primer5', 'visit': 'r01'} 
{'pat': 'a0016', 'primer': 'primer7', 'visit': 'r02'} 
{'pat': 'a0054', 'primer': 'primer5', 'visit': 'r04'} 
{'pat': 'a0054', 'primer': 'primer5', 'visit': 'r07'} 
{'pat': 'a0037', 'primer': 'primer7', 'visit': 'r06'} 
{'pat': 'a0037', 'primer': 'primer5', 'visit': 'r07'} 
{'pat': 'a0041', 'primer': 'ba87', 'visit': 'r01'} 
{'pat': 'a0094', 'primer': 'ba88', 'visit': 'r00'} 
{'pat': 'a0094', 'primer': 'ba88', 'visit': 'r02'} 
{'pat': 'a0107', 'primer': 'ba86', 'visit': 'r01'} 
{'pat': 'a0111', 'primer': 'primer5', 'visit': 'r04'} 
{'pat': 'a0179', 'primer': 'ba83', 'visit': 'r02'}