Posts for: #Lua

Lua:Table 浅析

本文的分析基于 OpenResty 的 Lua 分支(https://github.com/openresty/luajit2)。

核心 API

table 的 API 定义在 src/lib_table.c 中,API 分为三个部分:

标准库函数:

  • table.insert() - 向 table 插入元素
  • table.remove() - 移除 table 元素
  • table.concat() - 连接 table 元素为字符串
  • table.sort() - 对 table 进行排序
  • table.maxn() - 找到 table 中最大数字键
  • table.move() - 移动 table 元素

LuaJIT 扩展函数:

  • table.new() - 预分配指定大小的 table

OpenResty 扩展函数:

  • table.clear() - 清空 table 内容
  • table.clone() - 克隆 table
  • table.nkeys() - 获取 table 键的数量
  • table.isarray() - 检查是否为数组
  • table.isempty() - 检查 table 是否为空

数据结构

typedef struct Node {
  TValue val;         // 值对象,必须是第一个字段
  TValue key;         // 键对象
  MRef next;          // 哈希链指针
#if !LJ_GC64
  MRef freetop;       // 32位架构下的空闲节点顶部指针(存储在node[0])
#endif
} Node;

typedef struct GCtab {
  GCHeader;           // GC 通用头部:nextgc, marked, gct
  uint8_t nomm;       // 元方法负缓存掩码
  int8_t colo;        // 数组共址标记 (-1表示已分离, >0表示共址大小)
  MRef array;         // 数组部分指针
  GCRef gclist;       // GC 链表指针
  GCRef metatable;    // 元表引用
  MRef node;          // 哈希部分指针
  uint32_t asize;     // 数组部分大小 [0, asize-1]
  uint32_t hmask;     // 哈希掩码 (哈希部分大小-1)
#if LJ_GC64
  MRef freetop;       // 64位架构下的空闲节点顶部指针
#endif
} GCtab;

可以看到,GCtab 中同时定义了数组部分 array 和哈希部分 node

Lua:Concurrency

Lua 的并发(Concurrency)设计核心在于其轻量级、嵌入式的哲学,以及对协作式多任务的首选。它通过强大的协程机制实现并发,但本身不提供多线程/多进程的并行能力。


多线程/多进程

  • 核心语言无内置支持: Lua 语言本身的核心 VM 被设计为单线程执行。它不提供内置的语法或标准库来直接创建和管理线程(std::thread)或进程(fork)。
  • 独立的 Lua State: 一个 Lua VM 实例被称为一个“Lua State”。每个 Lua State 是完全独立的运行时环境,拥有自己的全局变量、栈、打开的文件、垃圾回收器等。它们之间默认不共享任何数据。
  • 宿主语言的责任: 如果需要在 Lua 中实现真正的并行(多核利用),必须依赖于宿主语言(如 C/C++)的多线程/多进程机制
    • 实现方式: 在宿主语言的每个线程或进程中,创建并运行一个独立的 Lua State
    • 数据交换: 这些独立的 Lua State 之间无法直接共享内存。数据交换必须通过宿主语言提供的进程间通信 (IPC) 或线程间通信 (ITC) 机制(如消息队列、共享内存、管道、套接字等)来完成。
    • 优点: 简单安全,因为 Lua State 之间是隔离的,避免了复杂的并发同步问题。
    • 缺点: 额外的通信开销和复杂性,且无法在单个 Lua State 内部实现并行。
  • 第三方库(封装): 存在一些第三方库(如 LuaLanes)试图提供在 Lua 中模拟多线程/多进程的 API。这些库通常是在底层创建独立的 Lua State,并封装了 IPC 机制,方便 Lua 开发者使用,但其本质仍然是基于宿主语言的底层能力和独立的 Lua State。

协程

协程的设计与实现

  • 设计理念: Lua 协程是为了提供协作式多任务 (Cooperative Multitasking) 而设计。它们允许在单个线程中实现任务的暂停和恢复,以模拟并发,而无需复杂的锁机制。
  • “有栈协程” (Stackful Coroutines): Lua 协程是有栈的。这里的“栈”指的不是操作系统的 C 语言栈,而是 Lua 虚拟机内部维护的Lua VM 栈
    • Lua VM 栈: 每个协程在创建时都会分配一个独立的 Lua VM 栈(或在需要时动态扩展)。这个栈存储着协程的局部变量、函数参数、中间表达式结果和函数调用上下文。
  • 实现机制:
    • coroutine.create(function) 创建一个新的协程(一个thread类型的值),但并不立即执行。它会分配并初始化一个新的 Lua VM 栈。
    • coroutine.yield(...) (保存栈): 当一个协程调用 yield 时,Lua VM 会:
      1. 保存当前 Lua VM 栈的完整状态(包括所有活跃的栈帧、局部变量值、程序计数器等)。这些信息会被存储在协程对象本身(在堆上分配)中。
      2. 暂停当前协程的执行。
      3. 将控制权返回给调用 coroutine.resume 的那个协程或主线程。 C 语言栈会正常展开,yield 作为一个 C 函数正常返回。
    • coroutine.resume(co, ...) (恢复栈): 当一个协程被 resume 时,Lua VM 会:
      1. 从协程对象中加载并恢复其之前保存的 Lua VM 栈状态。 这包括设置栈顶指针、恢复所有栈帧和程序计数器,使得协程能够从上次 yield 的点继续执行。
      2. 将控制权转移给被恢复的协程。 C 语言栈上会为 resume 函数创建一个新的栈帧,并在其中运行被恢复的 Lua 协程。
  • 优点: 简单、高效、避免了与 OS 栈相关的复杂性,并且由于是协作式的,没有竞态条件和锁的开销。
  • 缺点: 无法利用多核 CPU。

协程示例:

Lua - An Overview

Lua 和 LuaJIT

Lua

Lua 是一个开源项目,由巴西里约热内卢天主教大学的 Roberto Ierusalimschy、Luiz Henrique de Figueiredo 和 Waldemar Celes 创建。它的版本控制相对简单明了。

Lua 的版本体系

Lua 的版本号通常是 X.Y 的形式,例如 5.1, 5.2, 5.3, 5.4

  • X (主版本号/Major Version): 表示一个重大更新,通常会引入不兼容的更改(breaking changes),新的核心特性,或者对虚拟机架构的显著改进。从 5.x5.yy 增加通常意味着语法、API 或语义的更改,可能需要修改现有代码。
    • 例子:
      • Lua 5.0: 引入了协程 (coroutines)。
      • Lua 5.1: 引入了模块系统 (module system)、vararg 参数的改进。
      • Lua 5.2: 引入了 goto 语句、环境 (environments) 的重新设计、新的 _ENV 上值。
      • Lua 5.3: 引入了整数类型、位操作 (bitwise operations)、UTF-8 支持。
      • Lua 5.4: 引入了新的垃圾回收器、弱表 (weak tables) 的改进。
  • Y (次版本号/Minor Version) 或补丁版本 (Patch Version): 在主版本中,通常用于表示错误修复、性能优化或次要的功能增强。这些更改通常是向后兼容的(backward compatible),不会破坏现有代码运行。有时候,一个版本号会是 X.Y.Z 的形式,Z 就代表补丁版本。
    • 例子: Lua 5.3.1, Lua 5.3.2, Lua 5.3.3 等等。这些通常是修复 bug。

LuaJIT

https://github.com/LuaJIT/LuaJIT