龙芯多核处理器启动流程v3.0

龙芯多核处理器启动流程版本0.1日期09-14-2009作者夏启超维护夏启超目录0.约定 (2)1.BIOS的引导 (2)1.1主处理器核的引导 (2)1.2从处理器核的引导 (3)2.Kernel的启动 (5)2.1主处理核的启动 (5)2.2从处理器核的启动 (8)3.参考文献 (9)10.约定为了便于理解，根据最新版的《龙芯3A处理器用户手册》约定以下术语：处理器节点：包含4个GS464核的1个3A处理器称为1个处理器节点处理器核： 3A中的每个GS464核就是一个处理器核主处理器核：4个GS464中最先进入内核并负责初始化外设和引导从处理器核的处理器核从处理器核：被主处理器核引导的处理器核1.BIOS的引导操作系统一般都是要由BIOS启动。

龙芯的处理器芯片同样要先进入相应的BIOS也即PMON。

在BIOS这一层面上的多核系统中，主处理器核的启动和从处理器核的启动有所不同。

主处理器核的启动流程，跟单核系统的启动过程基本一样，主要完成处理器核、TLB、MMU及相关外设的启动。

而从处理器则根据自身的Id号码，执行各自的轮询循环，直到某个寄存器值已经改变，跳到各自的内核代码人口。

系统重启后，所有的的处理器核都会进入pmon中位于boot.S中的reset_exception执行，代码如下：reset_exception：22 .set mips6423 mfc0 t0, $15, 1 #mfc0, t0, CP0_PRID, 124 andi t0, 0x3ff #clear bit [31] ~bit[12]25 .set mips326 1:27 bnez t0, slave_main #slave cpu28 nop代码中23行的数字1表示是mips64 中的EBase Rigister selector 1寄存器,该寄存器的格式如下：上面CPUNum字段的值在处理器出厂时由硬件固定。

在单核系统中，CPUNum始终为0；在多核系统中，该字段用来区别不同的处理器核。

代码中的23~24行读出当前处理器核（执行到这段代码的处理器核)的处理器号到t0中，如果t0为0则表示当前的是主处理器核，接着往下执行；否则表示当前是从处理器核，则调用slave_main执行。

1.1主处理器核的引导先看主处理器核的启动过程，它会接着执行：32 li t0, 0xbfe00100#it means GODSON_CONFREG_ADDR33 lb t2, 0x02(t0)234 srl t2, t2, 535 li t3, 0x336 and t2, t2, t337 li t1, 0x0483 #'b (0) (0_0100)_ (1) (000_00) (11) liocfg38 addiu t3, $0, 039 1:40 addiu t3, t3, 2 # 00->1 01->3 10->5 11->7 +1 (60ns+1cyc)41 bnez t2, 1b42 addiu t2, t2, -14344 sll t3, t3, 245 or t1, t3, t146 1: sw t1, 0x8(t0) # speed up local io47 */48 beq $0, $0, cp0_main49 addu k0, $0, $0它首先初始化cpi0的配置寄存器、时钟频率、local io寄存器，然后跳转到cp0_main,去执行主处理器核的初始化工作，包括设置中断、初始化DDR控制寄存器、LPC、SCache、TLB等,完成这些准备工作之后， 执行如下的代码进入内核。

270 ## v0 -- kernel entry271 dli v0, KERNEL_ENTRY # define in linux.h 0xffffffff80314000272 subu sp, 32273 sd $0, 24(sp)274 sd $0, 16(sp)275 sd $0, 8(sp)276 sd $0, 0(sp)277 move a0, zero278 move v1, sp279 addiu a1, v1, 24280 addiu a2, v1, 16281 addiu a3, v1, 8282 jr v0在上面的这段代码中，v0指向代码入口，它的值是KERNEL_ENTRY，也就是编译支持多核的linux 内核的入口地址 ，通过反汇编vmlinux.32可以看到：540137 ffffffff80314000 <kernel_entry>:540138 _sinittext():540139 ffffffff80314000: 400c6000 mfc0 $t4,$12540140 ffffffff80314004: 3c015000 lui $at,0x5000540141 ffffffff80314008: 3421009f ori $at,$at,0x9f540142 ffffffff8031400c: 01816025 or $t4,$t4,$at540143 ffffffff80314010: 398c001f xori $t4,$t4,0x1f ..................................1.2从处理器核的引导完成上面这些步骤后，主处理器核在pmon中的工作完成了，而从处理器核则从slave_main的代码开始，代码如下：3296 mfc0 t0, CP0_CONFIG297 ori t0, t0, 7 # set bit[0~2] to be '1'298 xori t0, t0, 4 # set bit[2] to be '0' 011 K0=11b means cached kseg0, 299 mtc0 t0, CP0_CONFIG300301 la t0, next302 dli t1, 0xfffff303 and t0, t1 # set bit[64~32] to be '0'304 dli t1, 0xffffffff9fc00000 #set virtual bit address of 'next',why plus 0x9fc0?305 or t0, t1306307 jr t0308 nop首先还是从初始化从处理核的配置寄存器，设置处理器缓存一致性协议和KSEG0段访问的缓存行为，接着取得标号为”next”的代码的虚拟地址，然后跳到该地址去。

标号为next处 的代码首先设置KSEG0段可以缓存，然后初始化MMU和TLB相关的寄存器，完了之后执行如下的代码：366 mfc0 t2, $15, 1 # mfc0, t0, CP0_PRID, 1367 andi t2, 0x3ff368 .set mips3375 dli t0, 0x900000003ff01000 # IPI_Status Base376 andi t3, t2, 0x3 #local cpuid377 sll t3, 8378 or t0, t0, t3379380 andi t4, t2, 0xc #node id381 dsll t4, 42382 or t0, t0, t4执行366／367／375行可以得到当前从处理器核的id号，该id号码的范围是0~3（对单个节点的3A处理器而言),375～378行实现把当前的id左移8位然后加上 0x900000003ff01000的值，这样刚好得到当前从处理器核对应的IPI_Status的地址，该地址保存在t0中。

接着执行：383 waitforinit:384 li a0, 0x1000385 idle1000:386 addiu a0, -1387 bnez a0, idle1000388 nop389390 lw v0, FN_OFF(t0) #FN_OFF = 0x020,from mailbox391 beqz v0, waitforinit #v0 is zero or pointer to a function392 nop383～388行执行一段循环等待，然后检查自己对应的邮箱里的值是否为0，如果是则跳到waitforint继续等待，否则接着往下这行。

硬件重启后邮箱里面的值会自动为0，boot.S代码4里面并没有哪个去设置它，那它什么时候变为非0的呢？前面提到主处理器核完成pmon里面的任务之后进入内核，它会在完成相关的初始化并及从处理器核的启动准备后，再回头给各个从处理器核的Mail_Box寄存器发送一个函数的地址，告诉它们不用等待而可以跳到这个函数去执行。

具体的过程在内核的启动过程中会详细描述。

从处理器跳到那个函数入口的过程如下：394 dli t1, 0xffffffff00000000395 or v0, t1396397 dli t1, 0x9800000000000000398 lw sp, SP_OFF(t0)399 or sp, t1400 lw gp, GP_OFF(t0)401 or gp, t1402 lw a1, A1_OFF(t0)403404 jalr v0 #byebye405 nop...............首先394～395把v0里的32位函数地址扩展到64位地址的扩展，然后接着设置堆栈sp和gp 的指针（位什么要这样设置呢？),完成这些操作之后执行跳转指令jalr v0跳到那个函数。

这样从处理器核就从bios／pmon中进入了kernel。

2.Kernel的启动多核系统的Kernel启动过程，同样可以分为主处理器核的启动和从处理器核的启动这两个阶段，因此可以按照先后顺序分别描述。

2.1主处理核的启动主处理器核从kernel_entry开始执行，完成cpu自身的初始化及MMU／TLB和外设的初始化， 之后的初始化过程中会调用__smp_init这一函数。

在单核的系统引导过称中并没有这一过程，因此这是单核和多核引导的主要区别。

该函数的内容如下：355 /* Called by boot processor to activate the rest. */356 static void __init smp_init(void)357 {......................358 for_each_present_cpu(i) {363 if (num_online_cpus() >= max_cpus)364 break;365 if (!cpu_online(i)) //TODO tmp for init366 cpu_up(i);367 }368369 /* Any cleanup work */370 printk(KERN_INFO "Brought up %ld CPUs\n", (long)num_online_cpus());371 smp_cpus_done(max_cpus);372 printk(KERN_INFO "smp_init: all_cpus_done \n");5.................上面主要的工作在for_each_present_cpu(i)循环中进行，366～367行检查当前要初始化的处理器核Id号码是否越界，没有的话继续判断ID号为i的处理器核是否已经初始化，如果没有则调用cpu_up（i)把它初始化。