为了一个自然语言处理项目,我需要生成随机化数字字符串用于训练目的,基于训练示例。数字以字符串形式出现(来自OCR)。让我在这里将问题限定在百分比值上,目前观察到的格式包括以下格式或所指出的格式特征的任何有意义的组合:
'60' # 无百分号,精度0,无其他字符'60.00' # 无百分号,精度2,点号用于数字分隔'60,000' # 无百分号,精度3,逗号用于数字分隔'60.0000' # 无百分号,精度4,点号用于数字分隔'60.00%' # 与上述相同,带有百分号'60.00 %' # 与上述相同,带有空格'100%' # 三位数,零精度,带百分号'5' # 单个数字'% 60' # 百分号在数字前,带有空格
我的目标是在保留每个字符格式的情况下对数字进行随机化(例外情况:由于数字数量不同,例如5.6可能随机化为18.7或100.0,反之亦然)。百分比数值应在0到100之间。以下是一些我需要的示例:
input = '5' # 类似整数的数字output = [ '7', '18', '100'] input = '100.00 %' # 精度为2的浮点数,带有空格和百分号output = [ '5.38 %', '38.05 %', '100.00 %'] inpput = '% 60,000' # 带有百分号和空格,精度为4的浮点数,逗号分隔output = ['% 5,5348', '% 48,7849', '% 100,0000']
我该如何做到这一点?解决方案可以是概念性的或代码示例。解决方案需要反映现实数据中可能出现的格式。
目前我所知道的最好方法是对我想出的每种格式变体进行暴力手写if语句。
回答:
以下方法似乎对您提供的示例输入有效。我们只对查找前导整数数字和可能的分隔符后跟更多数字感兴趣。我们实际上不需要查找任何空格或百分号,因为我们只对替换任何给定匹配中的数字感兴趣。请告诉我是否遗漏了什么:
import repattern = "\\d{1,3}((?P<separator>[,.])(?P<floating>\\d+))?"strings = ( "60", "60.00", "60,000", "60.0000", "60.00%", "60.00 %", "100%", "5", "% 60", "% 60,000")def randomize(match): from random import uniform integer, floating = divmod(uniform(0, 100), 1) def get_chars(): yield str(int(integer)) if match.group("separator") is not None: yield match.group("separator") precision = len(match.group("floating")) yield f"{{:.{precision}f}}".format(floating)[2:] return "".join(get_chars()) for string in strings: print(re.sub(pattern, randomize, string))
输出:
2995.0851,5079.17830.80%6.56 %16%22% 27% 93,174>>>