我在机器学习和计算概率方面是新手。这是一个来自Lingpipe的示例，用于通过训练数据在单词中添加音节分隔。
Given a source model p(h) for hyphenated words, and a channel model p(w|h) defined so that p(w|h) = 1 if w is equal to h with the hyphens removed and 0 otherwise. We then seek to find the most likely source message h to have produced message w by: ARGMAXh p(h|w) = ARGMAXh p(w|h) p(h) / p(w) = ARGMAXh p(w|h) p(h) = ARGMAXh s.t. strip(h)=w p(h)where we use strip(h) = w to mean that w is equal to h with the hyphenations stripped out (in Java terms, h.replaceAll(" ","").equals(w)). Thus with a deterministic channel, we wind up looking for the most likely hyphenation h according to p(h), restricting our search to h that produce w when the hyphens are stripped out. 我不明白如何使用它来构建一个音节分隔模型。
如果有一个包含以下内容的训练集：
a bid jana bidea biea bil i tya bim e lech如何构建一个能对单词进行音节分隔的模型？我是说为了找到一个新单词可能的音节分隔点，需要计算什么？
首先计算什么？然后计算什么？请您具体说明并举例说明好吗？
非常感谢。
回答：
方法描述在文章中基于一种统计规律，允许通过观察一个噪声值来计算正确值。换句话说，未分音节的单词是噪声或不正确的，例如picnic，目标是找到一个可能正确的值，即pic-nic。
这里有一个关于这个主题的优秀视频课程（滚动到1:25，但整套课程值得观看）。
这种方法特别适用于单词分隔，但有些人也会用它来进行音节分隔。中文只有逻辑结构有空格分隔符，但大多数单词之间没有分隔符。然而，每个字符都是一个音节，没有例外。
其他语言的语法可能更加复杂。例如，泰语单词之间没有空格，但每个音节可能由多个符号组成，例如สวัสดี -> ส-วัส-ดี。基于规则的音节分隔可能困难但可行。
对于英语，我不会使用马尔可夫链和N-gram，而是使用一些简单的规则，这些规则能提供相当好的匹配率（但不完美）：
- 两个辅音位于两个元音之间
VCCV– 在它们之间分隔VC-CV，如cof-fee, pic-nic，例外是代表单一发音的“辅音簇”：meth-od, Ro-chester, hang-out - 元音之间有三个或更多辅音
VCCCV– 保持辅音组合在一起进行分隔，如mon-ster或child-ren （这似乎是最难的，因为你无法避免使用词典） - 一个辅音位于两个元音之间
VCV– 在第一个元音后分隔V-CV，如ba-con, a-rid - 上面的规则也基于辅音组合有例外：cour-age, play-time
- 两个元音在一起
VV– 在它们之间分隔，除非它们代表“元音簇”：po-em，但glacier，earl-ier
我会先从“主要”规则开始，然后用“保护”规则覆盖它们，以防止元音和辅音簇被分隔。另外，还会有一个明显的保护规则，以防止单个辅音成为一个音节。完成后，我会添加另一个基于词典的保护规则。
