关于中文编程的一些思考

ivansli 2021/11/16 768℃ 0

0. 为什么写这篇文章

笔者曾写过一篇《我眼中的C语言及其起源》(在其他地方叫《C语言发展史的点点滴滴》)的文章,文中从历史角度结合Unix系统源码来追溯了C语言的起源以及发展史(C语言的伟大毋庸置疑,但是其他语言带来的多样化也是十分重要),至于文章内容这里就不做过多赘述,感兴趣的读者可以查看原文。

本文则缘起于,在头条转载的本文评论中一位读者提到的一句话:"国产易语言在角落瑟瑟发抖"。看到这句话之后,顿时就对中文编程语言的原理产生了兴趣。由于平时业务开发过程中使用的主要语言是PHP/Golang,所以就从某种角度出发,并结合PHP、编译原理来分析一下中文编程语言的某些相似性原理。如果感兴趣的话,可以跟随笔者的步伐一探究竟。

1. 中文编程语言

如果说,给中文编程语言下一个定义的话:那就是,如其字面义,中文编程语言就是用中文汉字去编写代码逻辑,这些代码在经过编译处理之后,能够在现代计算机系统上跑起来的编程语言。

1.1 现存的中文编程语言

查了一下维基百科了解到:目前,中文编程语言大概有下面几种:
https://zh.wikipedia.org/wiki/%E4%B8%AD%E6%96%87%E7%B7%A8%E7%A8%8B%E8%AA%9E%E8%A8%80

  • BCY语言(1964年)
  • 朱邦复 曾设计过一些中文语言,如中文培基与中文cobol(1980年代)
  • 伙计培基(1987年)
  • 易语言(2000年)
  • 丙正正 C++语言的中文版本(2000年代 2001)
  • 唐凤 曾经设计过能以文言文写作的perl模块PerlYuYan(2002年)
  • 中蟒(2002年)
  • O语言 中文汇编语言(2005年)
  • ZhPy(周蟒,2007年)
  • 习语言 支持中文的C语言(2009年)
  • 中文小海龟 中文化的Logo语言(2009年)
  • 蝉语(2014年)
  • wenyan-lang 类文言文的编程语言(2020年)

对于中文编程语言,笔者也说不好其意义与价值。只是想说一句话:凡存在即合理。这个世界,也正是因为包容性,才有了今天的多彩多姿。(维基百科里面有这么一句话:使用中文编程语言,不需要记住大量的英文语句,中文用户可以在自己母语的基础上从更高方面入手。而且可以减少学习英语的成本,为汉语区的软件产业发展提供帮助。 间接的说明了其存在的意义)。

1.2 中文代码demo

[ 中文编写的示例代码 ]

上面程序执行结果为:这里是如果。

看到这里,你可能认为这段代码是使用上面的某种中文编程语言编写的。当然,相关中文编程语言也是可以实现该功能。但是,如果我告诉你,这是段PHP/Go代码的话,你会做何感想。

执行代码的PHP/Go程序用官方源码编译
代码是标准的PHP/Go格式代码

[ PHP执行示例代码 ]
[ Go执行示例代码 ]

是不是有种不可思议的感觉?是的话,那就对了。因为,这起码说明一个道理:大多数时候,你从主观角度看到的事实,往往不一定是其真实的写照。

你可能会产生下面疑惑:

1.PHP/Go怎么可能使用中文编写代码?
2.这个跟中文编程语言有什么关系?

如果你想到这两个问题的话,那我的目的也就达到了,具体原因且往下看。

2. 编程语言分类

从某种角度来看编程语言,大概分为以下几种类型:

1.编译型语言(C、C++、golang ......)
2.解释型语言(Python、JavaScript、PHP ......)
3.翻译 + 解析型语言(Java、C# ......)

语言类型 执行过程
编译型语言 源代码->汇编代码->机器码->CPU执行
解释型语言 源代码->中间代码->虚拟机->CPU执行
翻译+解析型语言 源代码->中间代码->虚拟机->机器码->CPU执行

首先,需要说明的是:上面几种分类包含的语言,都是属于自然语言的范畴。其次,计算机最终执行的,都是由01组成的机器语言。

不知道,你有没有跟笔者一样想过这样一个问题:这些自然语言最终是怎么在计算机上跑起来的?

2.1 编译器

编译器(compiler)是一种计算机程序,它会将某种编程语言写成的源代码(原始语言)转换成另一种编程语言(目标语言)。
https://zh.wikipedia.org/wiki/%E7%B7%A8%E8%AD%AF%E5%99%A8

它主要的目的是将便于人编写、阅读、维护的高级计算机语言所写作的源代码程序,翻译为计算机能解读、运行的低阶机器语言的程序,也就是可执行文件。编译器将原始程序(source program)作为输入,翻译产生使用目标语言(target language)的等价程序。源代码一般为高级语言(High-level language),如Pascal、C、C++、C# 、Java等,而目标语言则是汇编语言或目标机器的目标代码(Object code),有时也称作机器代码(Machine code)。

一个现代编译器的主要工作流程如下:
源代码(source code)→ 预处理器(preprocessor)→ 编译器(compiler)→ 汇编程序(assembler)→ 目标代码(object code)→ 链接器(linker)→ 可执行文件(executables),最后打包好的文件就可以给计算机去运行了。

[ 现代编译器的主要工作流程 ]

2.2 编译过程

编译器一般分为:前端和后端。

编译器的前端一般承担着词法分析、语法分析、类型检查和中间代码生成几部分工作(该部分也是设计一门新的编程语言,需要重点关注的部分。同时,也是各种编程语言差异化最大的部分)。而编译器后端主要负责目标代码的生成和优化,也就是将中间代码翻译成目标机器能够运行的机器码。

[ 经典的程序编译过程 ]

对应步骤所起到的作用为:

  • 词法分析 通过词法分析器识别出最小的语法单位,并用对应token表示其词性。(源程序字符串 → 单词符号)
  • 语法分析 通过语法分析器根据单词词性,分析语法。(单词符号 → 语法单位)
  • 语义分析与中间代码生成 根据单词值分析语义是否正确,生成中间代码。(语法单位 → 中间代码)
  • 代码优化 对中间代码进行优化,以期产生更高效的目标代码。(中间代码 → 优化后的中间代码)
  • 目标代码生成 将中间代码转换成低级语言代码。(中间代码 → 目标代码)

各种语言都有上述步骤,底层的实现也基本相似。

3. PHP词法分析

笔者这里使用PHP语言,来一步步分析其实现中文编程代码的原理。

3.1 PHP执行过程

从编程语言分类来看,PHP属于解释型语言,对于解释型语言来说,都会有一个解释器(php的解释器为zend引擎,zend这个词汇来源于最初两位核心开发者的名字组合的单词,后来成立了zend公司)。PHP源码的执行过程,大概分为下面几个步骤:

1.词法分析 (此处是本文重点)
2.语法分析
3.生成抽象语法树AST
4.生成中间码opcode
5.zend引擎执行opcode

[ PHP源码执行过程 ]

opcode在笔者看来是有点类似于汇编码的中间码,不过这里的中间码是被zend引擎执行的。

[ opcode结构 ]

为什么说,类似于汇编码呢?通过上面结构体可以看到几个关键字段:
操作数:op1、op2
返回值:result
操作数类型:op1_type、op2_type
返回值类型:result_type
操作动作:handler指针指向具体的操作动作处理方法

3.2 PHP中间代码与C汇编

下面分别使用解释型语言PHP、编译型语言C来实现相同的加法功能,并查看其中间码(下图显示的是简化之后的中间码),进行对比分析。

[ 实现加法功能的PHP源码与中间码opcode ]

这里获取PHP中间码opcode(可以结合3.2中zend_op结构体来分析),使用的是vld扩展。

[ 实现加法功能的C源码与中间码汇编 ]

这里获取C的中间码汇编,使用的是objdump命令。

通过对比可以发现,PHP的中间码与C语言的中间码具有某种相似性。

例如,实现a+b的操作:

// 汇编
add      %edx,%eax
// opcode
ADD  ~4  !0, !1

1.都有对应的操作指令2.都有两个操作数3.都有存储结果的位置

看到这里,是不是感觉发现了什么不得了的东西。

解释型语言的虚拟机,对应着的是编译型语言更底层执行逻辑的抽象。解释型语言的中间码,对应着的是编译型语言中间码的抽象。

各种语言的实现方式可能不太一样,但是实现原理是类似的。有些比较也可能看似有点牵强,但是采用这种方式却更容易理解。

3.3 自定义词法规则

笔者本次所用php源码版本为 php-7.4.10
词法分析规则文件:php-7.4.10/Zend/zend_language_scanner.l

[ PHP原生词法规则 ]
[ 原生词法规则与token的映射 ]

为了实现1.2示例中的代码,添加了几个自定义了词法规则。

[ 添加自定义词法规则 ]
[ 添加的自定义词法规则与token的映射 ]

词法分析器遇到一个词汇,就去查询一本词典(词法规则)。如果查到了该词汇的话,则会得到一个合规的token,接下来把token传递给语法分析器进行后续处理。

在这里,笔者只是在词法分析器的词典中多添加了几个条目,把新增的几个条目映射到原有的合法token上去,也正是这几个条目使得1.2处代码可以正确的执行(虽然是中文编写的,但是词法分析器可以正确的识别其含义)。

3.4 自定义词法验证

俗话说,无图无真相。下面来验证自定义的词法所产生的token是否是预期的。

[ 获取1.2示例代码的token ]
[ 获取1.2示例代码的token ]

从获取的token序列中可以看到,添加的词法规则被识别成了正确的对应token:

'如果' -> T_IF
'否则' -> T_ELSE 
'输出' -> T_ECHO

也正是这一步操作,使得1.2示例中的中文代码demo可以被PHP程序正确执行。

  1. 添加自定义词法规则步骤
    这里详细记录一下,笔者添加自定义词法规则以及编译的过程。

1.编译安装re2c
re2c官网以及github仓库 http://re2c.org/ https://github.com/skvadrik/re2c
安装过程自行百度、Google,我这里使用的是 re2c 1.3。

2.下载并解压缩PHP官方源码
这里使用的版本是 7.4.10 https://www.php.net/distributions/php-7.4.10.tar.gz

3.添加自定义词法规则 编辑php-7.4.10/Zend/zend_language_scanner.l文件,添加下面代码。

<ST_IN_SCRIPTING>"如果" {
  RETURN_TOKEN(T_IF);
}

<ST_IN_SCRIPTING>"否则" {
  RETURN_TOKEN(T_ELSE);
}

<ST_IN_SCRIPTING>"输出" {
  RETURN_TOKEN(T_ECHO);
}

4.使用re2c重新生成最新的词法分析器代码

/usr/local/re2c/bin/re2c --no-generation-date --case-inverted -cbdF -o zend_language_scanner.c zend_language_scanner.l

5.编译安装PHP程序 回到PHP源码根目录,编译安装PHP。这里笔者只是为了简单的测试使用,没有添加、开启其他选项。

./configure --prefix=/usr/local/php7.4
make
make install

到这里,恭喜你不仅已经拥有了一个跟笔者一样的,可以执行中文编写的1.2示例代码的PHP程序。而且,还可以基于PHP,来自定义一个属于自己的中文编程规范。

5. 中文编程语言的思考

从编程语言的分类角度来看,想要开发一种新的中文编程语言。一般需要考虑下面几件事情:

1.语言是编译型还是解释型2.如何定义语言词法规则3.如何定义语言语法规则4.什么样的中间码5.中间码生成机器码还是运行在虚拟机上

5.1 设计中文编程语言的思路

一般有两种选择:

I. 想要减小底层设计的复杂度,重点关注上层语言层面特性。一般是使用其他语言来构建当前语言,使用虚拟机来执行特定格式的中间码。例如:PHP使用C语言来编写底层内核逻辑,PHP源码生成的中间码opencode,运行在zend虚拟机之上。
II. 不依赖于其他语言,从底层到上层全部重新设计。最关键的是,要有一个支持该语言的编译器,能够直接将该语言编译成某种中间码或者机器码。例如:Golang语言(go语言前期几个版本使用C语言编写底层逻辑。后面实现了自举,底层除了少数文件使用汇编,其他全部使用go语言编写)。

貌似还有第三种选择:那就是跟笔者上面的例子一样,使用某种编程语言,仅仅是修改一下其词法规则,让其支持中文编程。(这种方法相当于穿了个新的马甲,不能称之为新的编程语言,称之为汉化更合适。当然,很多时候也是让人嗤之以鼻的。不禁让笔者想起来了若干年前,关于国产CPU的一件事情:买一颗其他厂商的CPU,打磨掉旧的logo,换个新的logo。总之,前路漫漫,道阻且长。还是希望国内高手们能齐心协力,发明一款国人亲手打造的、被广泛使用的编程语言)。

从目前的情况来看,大部分的中文编程语言采用的是第一种实现方法。但是,也不排除部分采用第二种方法,当然该方法对开发人员来说也是难度最大的一种。

这里想要着重说明一点:中文编程不是简单的编程关键字替换为中文,而是中文编程时所使用关键字的底层API调用、类库支持、系统交互等一系列的设计。

5.2 中文编程的意义及未来

正所谓,仁者见仁智者见智。至于中文编程的意义以及未来,笔者也搜索了一些文章,或支持、或反对,每个人有自己的独特见解。感兴趣的话读者可以搜索相关资料。

如果,你问我:你相信中文编程会有未来吗?

那么,我可能会说:我永远相信美好的事情,一定会发生。

这里抛出一个笔者个人的观点(不引战,杠精绕道):中文编程对国人来说也是另一种选择,排除那些专业的开发人员。起码,对那些不懂编程的爱好者或者低龄儿童来说,只要稍微熟悉一些逻辑,也能编写出一些优秀的软件。又何乐而不为呢?

当然,想要搞出一款纯粹的中文编程语言也会是有一定难度。从计算机体系结构来看,排除高层次的编程语言层面来看,底层的操作系统、指令集也牵扯巨量工程。如果,非要集国人之力搞出这么一套也不是不可能,只是从成本角度来看,投入跟产出比不会太大。当前,世界正在成为一个地球村。各种文化的融合交汇,也促使着时代滚滚向前的进程,很多新事物往往也是顺应着时代潮流,在各个行业众多的顶尖人才参与下才得以出现。我们也应该顺应时代潮流,参与进去,增加影响力、参与标准化的制定,这才是一个明智的选择。同时,也应该掌控一些核心科技才是王道。

最后,最重要的一点就是:生态。编程语言只是个工具,有了工具(哪怕是非常好用的工具)也需要有人、有很多人来用,才能更体现其价值(有句古话:酒香也怕巷子深)。有很多人用,自然会围绕该语言构建出一些优秀的软件、系统。往往也牵扯很多行业的支持,整个就构成了一个生态。没有很好的生态,是很难存活下去的(历史上不乏有很多例子)。

6. 总结

本文以自定义词法规则来实现PHP的中文编程为例,引入编程语言的词法分析步骤。同时,通过简述编译器的执行过程,引出设计一种编程语言所应该具有的一些思路与逻辑。这里,也仅仅是抛砖引玉。

这世界上唯一不变的,就是变化。编程语言排行榜之上,各种语言浮浮沉沉,出现、消亡,都是时代所驱使的结果。但是,有一点是具有共通性的,那就是实现原理。想必,掌握了这一点,也就基本掌握了大部分的不变。

鉴于个人能力有限,如有问题或者缺陷,欢迎指正。

7. 参考资料及扩展阅读

[1]https://juejin.im/post/6867124787576373256 聊一聊编译过程
[2]https://zh.wikipedia.org/wiki/%E7%B7%A8%E8%AD%AF%E5%99%A8
[3]http://www.ruanyifeng.com/blog/2014/11/compiler.html 编译器的工作过程
[4]https://zhuanlan.zhihu.com/p/53336801 人人都能读懂的编译器原理
[5]https://zhuanlan.zhihu.com/p/64768035 编译原理:语法分析器的设计和实现
[6]https://draveness.me/golang/docs/part1-prerequisite/ch02-compile/golang-compile-intro/ go编译原理
[7]https://www.cnblogs.com/OceanEyes/p/implement_a_interpreter.html 从编译原理看一个解释器的实现

评论啦~