Language Theory and Bioinformatics

A Turing Machine
Alan M. Turing (1912-1954)
FSA + ∞ R/W tape
Church-Turing Thesis (1936): Any effective (mechanical) computation can be carried out by a Turing machine
随机语法
隐马可夫链 = 随机正规语法 更高阶的随机语法？
Consensus Sequences
• TATAAT ( Pribnov or -10 box ): T80A95T45A60A50T96 • TTGACA ( -35 box ): T82T84G78A65C54A45 • CAAT ( CAAT or –75 box ): GGYCAATCT • TATA ( TATA or Goldberger-Hogness box ): TATAWAW • CATG ( Transcription startpoint ): However, in Aful: ATG –76% GTG –22% TTG –2%
An Observation
u d c s b t charge, mass, flavor, charm, … p n e charge, mass, spin, magnetic momentum, … H C N O P … atomic number, ion radius, valence, affinity, … H2O NO CO2 … molecular weight, polarity, … a c g t A D E F G H…W Y V
Regular Grammar:
A αA A β One symbol on LHS; One or none NT at the right-end of the RHS.
Context-Free Grammar:
A αAβ One symbol on the LHS; NT anywhere on the RHS. B γB|δ
1 类语法
x = t1 a t2 t1, t2 ∈ T* a∈N
上下文有关语法
2 类语法
x=a∈N
上下文无关语法
3 类语法
正规语法
x=a y = b 或 bc a, c ∈ N b = 空 或 b ∈ T
A, B, … ∈ Non-terminals (NT) α, β, … ∈ Terminals (T)
BRCA1 PDGF
A PROGRAMME:
Coarse-Grained Description of Nature Use of Symbols and Symbolic Strings Language Grammar and Complexity
(Chomsky, Lindenmayer, etc.)
Classification of Formal Languages
Chomsky Hierarchy Sequential productiቤተ መጻሕፍቲ ባይዱn rules Lindenmayer Systems Parallel production rules
Generative Grammar
S ≡ Sentence NP ≡ Noun Phrase VP ≡ Verb Phrase Adj ≡ Adjective Art ≡ Article S S if S then S either S or S N S VP NP NP VP V NP (Art) Adj* N
Summary in two lines according to Luo Liao-fu:
1. DNA sequences are not random. 2. Characteristics close to randomness.
Hint:
Statistical methods alone are not powerful enough to amplify the difference between DNA and random sequences and the difference among themselves. Need for new “deterministic” approaches.
N — 非终结字母集（工作用符号） T — 终结字母集 S ∈ N 起始字母 P = {生成规则（x y）的集合}
x, y 为字母串 关于 x, y 的不同规定导致不同语法
语法 G = (N, T, P, S)
0 类语法
x ∈ (N∪T)* N(N∪T)* ∪ ∪ y ∈ (N∪T)* ∪ 至少含有一个非终结字母
It may not be a coincidence that the two systems in the universe that most impress us with their open-ended complex design — life and mind — are based on discrete combinatorial systems. Many biologists believe that if inheritance were not discrete, evolution as we know it could not have taken place. S. Pinker, The Language Instinct (1995)
Reference Library
Kingdom Monera, …, kingdom Animalia
自然语言与遗传语言
相似处： 相似处： 相异处： 相异处：
多义性 标点符号和间隔不同 冗余度 两种语言的相互作用 容错和纠错 二维、三维的相互作用 长程关联 均基于离散的排列组合系统 重复序列的数目和作用 有某些语法，但不能完全生成 方言、个体差异性 演化、突变、灭绝 历史“垃圾”、古语、“化石” 外来语、横向交换
So far this programme has been best realized in the study of dynamics by using Symbolic Dynamics. There have been preliminary attempts in analyzing biological sequences.
语言学方法：语法和语义 语义问题、遗传“字典”
Gnomics: A DNA Dictionary (1986) 目前：>5000转录因子结合位点 >300内切酶识别点 各种重复序列，卫星、微卫星
Language Metaphor in Biology
Transcription Translation Edition Modification (转录) (翻译) (编辑) (修饰)
No restriction in production rules.
形式语言的Chomsky层次
层 0 1 2 3 语言 递归可数 REL 上下文有关 CSL 上下文无关 CFL 正规 RGL 计算机 图灵机 （万能计算机） 线性有界自动机 下推自动机 有限自动机 存储要求 无根 比例於输入 字长 下推区 （堆栈） 不要求
Simple Examples
At the level of words: DOG GOD At sentence level: Dog bites Man Man bites Dog
N N N N
Ca 结合蛋白
C C C C
EGF (Epidermal GF) Chymotrypsin (胰凝乳蛋白酶) Urokinase (UK) (尿激酶) Factor IX
(凝血因子IX, X-mas抗血友病因子)
N
含3个-s-s-
C Plasminogen
(纤维蛋白融酶原)
几种丝氨酸蛋白酶的domain组合 组合 几种丝氨酸蛋白酶的
B.Alberts 等，Mol.Biology of the Cell 第三版 1994. P.123
GC 语法复杂性
字母表 Σ 例1. Σ = {a, c, g, t} 例2. Σ = {A, C, D … W, Y} 例3. Σ = {a, … z, A, … Z, +, –, …} 字母表中各种字母组成的一切字母串 （包括空串） Σ* Σ*的任何子集是基于Σ的一种语言 语法 = {字母表，初始字母，产生规则} 基于该语法的语言
语言学（language 而非 philology）方法 语言学 方法
统计语言学
“字”的频度和关联 Zipf 定律
代数语言学：生成语法和语法复杂性
串行生成：Chomsky体系 平行生成：Lindenmayer 体系（来自发育生物学） 可因式化语言
模糊语言学
形式推广不难：Z .G .Yu (2001) 如何定量地引用生物知识 Consensus 序列和权重矩阵
boy | girl | scientist | …
V sees | believes | loves | eats |… Adj Art young | good | beautiful | … a | one | the
Non-Terminal and Terminal Symbols
Chomsky 语法层次
Context-Sensitive Grammar:
αABβ αA αα Aγ Aγ One or more symbols on LHS, but length ≤ that of RHS; One or more NT on RHS. A
Recursively Enumerable Grammar:
Statistical Analysis of DNA Sequences