我正在尝试从大约 30,000 个文件名中解析数据。下面是几个例子:
A0038clone11-BA28.ab1
A038clone11-BA31.ab1
A0038clone11-BA32.ab1
A0001-R00-tatI-BA29.ab1
A0001-R00-V3-BA31.ab1
A0001-R00-LTR-BA43.ab1
A0001-R00-BA81-tat1.ab1
A0002_R07-Primer7.ab1
A0016_A0053_R01-Primer5.ab1
A0016:A0053-R02-Primer7.ab1
A0017_A0054_R04-Primer5.ab1
A0017_A0054_R07-Primer5.ab1
A0037_R06_042712-Primer7_R.ab1
A0037_R07-Primer5_R.ab1
A0041-R01-12Feb-BA87-tat2.ab1
A0094-R00-BA88-fall to early.ab1
A0094-R02-BA88-need to repeat.ab1
A0107-R01-WZ5-BA86-tat1.ab1
A0111_R04_P5_GC-Primer5.ab1
A0179-R02LTR-BA83_R-bad seq.ab1
我正在尝试提取以下内容:
- 患者编号(A0 左右)
- 访问编号(R-something)经常丢失,我假设默认值为 R00
- Primer(BA-something 或 Primer-something)
- 经常丢失的克隆号(克隆之类的东西),我假设是 clone01
我是 pyparsing 的新手,所以我需要一些帮助。
我的第一个猜测是做类似的事情:
pat = pyp.Combine(pyp.Word('A') + pyp.Word(pyp.nums))
visit = pyp.Combine(pyp.Word('R') + pyp.Word(pyp.nums))
clone = pyp.Combine('clone' + pyp.Word(pyp.nums))
primer = pyp.Combine(pyp.oneOf('Primer BA', caseless=True) + pyp.Word(pyp.nums))
extension = pyp.Combine(pyp.Optional(pyp.CaselessLiteral('_R'))+pyp.CaselessLiteral('.ab1'))
parser = pat + pyp.Optional(visit, default='R00') + pyp.Optional(clone, default='clone01') + primer + extension
parser.setDefaultWhitespaceChars(' -/:_-')
但是当订单关闭或其中有额外的单词(如 tatI、V3 等)时,这将失败。
使用来自 Pyparsing - where order of tokens in unpredictable 的建议我尝试使用 OneOrMore 运算符,例如:
parser = pyp.OneOrMore(pyp.MatchFirst([pat,
visit,
clone,
primer,
extension]))
parser.setDefaultWhitespaceChars(' -/:_-')
但在某些情况下,这会漏掉 primer:比如 A0001-R00-LTR-BA43.ab1 但不是 A0001-R00-BA81-tat1.ab1 因为我不明白的原因。
如有任何建议,我们将不胜感激!
请您参考如下方法:
你快到了。您需要匹配额外的标记(我假设您不关心)。只需确保额外的匹配项出现在末尾,这样就不会吞噬您感兴趣的内容。使用 names 作为您帖子中定义的列表:
from pyparsing import *
def marker(key):
return Combine(CaselessLiteral(key) + Word(nums))
pat = marker("a")
visit = marker("r")
clone = marker("clone")
primer = marker("ba") | marker("primer")
sep = oneOf("- _").suppress()
other = Word(alphanums + ":")
file_ext = Literal(".").suppress() + Word(alphanums)
EOL = LineEnd().suppress()
tokens = [pat("pat"),
visit("visit"),
clone("clone"),
primer("primer"),
sep,other]
grammar = OneOrMore(MatchFirst(tokens)) + file_ext + EOL
通过为中间结果命名,例如clone("clone") 我们可以为它们创建一个字典以便于访问:
for result in grammar.scanString(names):
print result[0].asDict()
导致
{'clone': 'clone11', 'primer': 'ba28', 'pat': 'a0038'}
{'clone': 'clone11', 'primer': 'ba31', 'pat': 'a038'}
{'clone': 'clone11', 'primer': 'ba32', 'pat': 'a0038'}
{'pat': 'a0001', 'primer': 'ba29', 'visit': 'r00'}
{'pat': 'a0001', 'primer': 'ba31', 'visit': 'r00'}
{'pat': 'a0001', 'primer': 'ba43', 'visit': 'r00'}
{'pat': 'a0001', 'primer': 'ba81', 'visit': 'r00'}
{'pat': 'a0002', 'primer': 'primer7', 'visit': 'r07'}
{'pat': 'a0053', 'primer': 'primer5', 'visit': 'r01'}
{'pat': 'a0016', 'primer': 'primer7', 'visit': 'r02'}
{'pat': 'a0054', 'primer': 'primer5', 'visit': 'r04'}
{'pat': 'a0054', 'primer': 'primer5', 'visit': 'r07'}
{'pat': 'a0037', 'primer': 'primer7', 'visit': 'r06'}
{'pat': 'a0037', 'primer': 'primer5', 'visit': 'r07'}
{'pat': 'a0041', 'primer': 'ba87', 'visit': 'r01'}
{'pat': 'a0094', 'primer': 'ba88', 'visit': 'r00'}
{'pat': 'a0094', 'primer': 'ba88', 'visit': 'r02'}
{'pat': 'a0107', 'primer': 'ba86', 'visit': 'r01'}
{'pat': 'a0111', 'primer': 'primer5', 'visit': 'r04'}
{'pat': 'a0179', 'primer': 'ba83', 'visit': 'r02'}
