{"id":48,"title":"Rust中的异步任务如何运行","abstraction":"使用Rust进行异步编程对于解决并发问题至关重要，与Javascript、Kotlin等编程语言不同，掌握Rust语言异步需要更多的努力。","content":"

使用Rust进行异步编程对于解决并发问题至关重要，与Javascript、Kotlin等编程语言不同，掌握Rust语言异步需要更多的努力。

什么是异步编程

异步编程（Asynchronous Programming）是为了解决高并发场景需求而产生的技术，在很多教材中，通常都需要将它和并行编程（Parallel Programming）作区分。

异步编程是指同时开启多项任务，但是任务不见得是同时在执行，不同任务执行顺序由代码和任务控制器（Runtime）来决定。
并行编程是指同时执行多项任务，在同一时刻，这些任务都是正在运行的。

嗯，简单来讲是这样，对于应用编程语言来讲，这样理解就可以了。但是，如果好奇，如果再深入地想一下，它们的界限就有些模糊了，需要更多的定义、抽象来进行区分。例如，如果一个CPU只有4个核心，最多同时执行的线程数就是4，但是操作系统实际上执行了数百个线程，它们显然不可能在同一时刻都是正在运行状态，但是利用多线程执行任务，通常就是叫“并行编程”，也就是说上面的说法也不是精确的。

异步编程中并发执行的“任务”被称作“协程”（Coroutine）。在大学操作系统课题中，我们都学习过进程、线程的概念，它们也是为了解决多任务并行运行的需求，那么它们有什么区别？

进程：进程是应用程序级别的，通常一个应用程序对应着一个进程。一个进程拥有独立的内存资源、文件资源，供内部不同线程共享。
线程：线程是操作系统分配CPU运算资源的单位，一个进程可以生成一个或多个线程，这些线程由操作系统来统一调度，按照调度算法分配CPU运算资源。
协程：协程是更为轻量级的“线程”。线程由操作系统调度时，每次切换都需要涉及线程上下文（Thread Context）的保存/创建/销毁等过程，需要花费更多的时间；而协程的切换则不需要由操作系统操心，它要么由语言运行时（例如Kotlin）、要么由开发者（例如Rust）自行管理。结果就是切换过程非常快。

协程在切换时，也可能涉及到上下文（变量、堆栈）的操作，根据实现方式不同，可以分为有堆栈型协程（Stackfull Coroutine）和无堆栈型协程（Stackless Coroutine）。前者由编程语言运行时协助完成切换，后者由编译器在编译时就确定好执行逻辑，于是后者在运行时就拥有更高的执行效率。根据Rust语言的设计风格（倾向于编译时检查更多、倾向于追求更高的执行效率），不难猜到它使用的就是无堆栈型协程。具体来讲，Rust将协程的切换过程编译为一个有限状态机（Finite State Machine），在运行时就按照状态进行切换。协程有多高效呢?我们可以轻易在个人计算机中运行数万个任务，甚至上百万个任务，但是不可能运行如此之多的线程。

最后，在Rust语言中，这个无堆栈型协程通常被称为“任务（Task）”或“绿色线程（Green Thread）”。当我们在学习时，需要知道“任务”这一极其通用的名词意味着什么。为什么呢？假如你的程序需要挖矿，需要耗费大量的CPU资源，使用协程、使用Rust多任务能够提高挖矿效率吗？答案是不能，这种做法甚至可能降低你的运算速度。因为协程通常在一个线程或固定的几个线程之间调度，CPU资源是跟线程相关的，如果一万个线程都在同一个线程上调度，不仅不会加快运行速度，还会严重降低运行效率。此时你需要的是更多的线程资源而不是更多的协程。

试一下异步编程

我们以发送一个http请求为例，来看一下在Rust中如何使用异步编程。下面的例子中，我们使用reqwest库向Tushare发送一条HTTP请求，获取金融数据，然后将返回内容转换为文本内容。

    let tushare_response = reqwest::Client::new()\n        .post(\"https://api.tushare.pro/\")\n        .json(&json)     // json是POST请求的参数\n        .send()\n        .await?\n        .text()\n        .await;

上面的代码中，我们两次用到了await。每次遇到await，编译器就会将代码运行顺序进行修改，改为在这里需要等待，具体如何等待由异步编程的运行时来决定（通常使用async_std或tokio）。这种语法和Javascript的async/await很相似，该代码所在的函数也必须声明为async，完成的函数代码如下：

async fn request_text(api_name: &str, params: Value, fields: &str) -> Result<String, CastleError> {\n    let tushare_token = env::var(\"TUSHARE_TOKEN\")?;\n\n    let json = json!({\n        \"token\": tushare_token,\n        \"api_name\": api_name.to_string(),\n        \"params\": params,\n        \"fields\": fields.to_string(),\n    });\n\n    let tushare_response = Client::new()\n        .post(\"https://api.tushare.pro/\")\n        .json(&json)\n        .send()\n        .await?\n        .text()\n        .await;\n\n    if let Ok(response) = tushare_response {\n        Ok(response)\n    } else {\n        Err(CastleError::TushareError(\n            90001,\n            String::from(\"Failed to get text response from tushare\"),\n        ))&\n    }\n}

异步任务到底是如何执行的

在Javascript中，async/await实际上是一种语法糖，解释器会将async/await关键字转换为Promise的调用，而Promise就像它的名称一样，是一个承诺，这个承诺可能成功也可能失败。Rust语言中也是相同处理，async/await也是一对语法糖，只不过这里将Promise换成了Future。Future也是对异步任务的一种抽象，当Rust编译器遇到async代码：

async fn request(api_name: &str) -> Result<String, CastleError>

会将其编译为如下代码（这里做了简化）：

fn request(api_name: &str) -> impl Future<Output = Result<String, CastleError>>

于是就引出了Future。Future的声明如下：

pub trait Future {\n    type Output;\n    fn poll(self: Pin<&mut Self>, cx: &mut Context<'_>) -> Poll<Self::Output>;\n}

也就是说，异步任务（我们将Rust中使用async声明的函数称为异步任务）返回值其实是Future。Future的声明只有一个方法：poll。poll翻译过来就是“轮询”，我们凭名称来想象一下，这是不是意味着异步任务要通过不断轮询，来查询它的结果。简单来讲正是这样。只不过，这种轮询机制有它自己的特点，是一种特殊的轮询：

首先，对异步任务的轮询不是由运行时（Runtime，即用于管理异步任务的程序）主动发起的，它是由异步任务本身告诉Runtime，然后Runtime才会轮询；
其次，Runtime不是由Rust语言支持或集成好的，必须由开发者自己决定。当然了，有现成的库供我们使用，就是async_std或tokio a或；开发者也可以自己实现一个Runtime.。

先说第一个特点，对异步任务的管理实际上是一种双方共同管理的模式，也就是Cooperative multitasking。Runtime启动异步任务后，不会反复查询异步任务的进度，而是需要异步任务在有进展时告知Runtime，这也就是poll方法第二个参数Context的用途。这样做有什么好处？当然是效率更高，Runtime不需要再费尽心思设计轮询算法了，等着就行了。

再说第二个特点，Runtime是最终负责启动、调用异步任务的部分，也被称为Executor。对于绝大部分应用程序来说，不需要关心异步任务如何启动、如何调度，只需要在main函数的签名加入#[tokio::main]，然后为main函数加入async修饰词就可以了。编译器在遇到#[tokio::main]这个宏定义时，自动将async main函数展开为普通的main函数，之后我们的程序就变成了异步程序。具体的过程可以参见tokio中的说明。此外，我们编写的绝大部分异步任务都是Non-leaf任务，即我们编写的异步任务通常会调用其他的异步任务，例如网络请求、磁盘读写、数据库读写。还有一类异步任务是Leaf任务，即最终操作IO的部分，这一部分程序的编写方法与Non-leaf任务有很大不同，可能会遇到线程操作等。

细节: 为什么要用Pin

仔细观察Future的poll方法声明，会发现self的类型是：Pin<&mut Self>，这里的Pin是什么呢？Pin翻译为中文是“钉住”，就是用大头针将一张纸钉在墙上。在Rust中，Pin意味着被Pin的内容（即Future/任务）不能移动（move）了，也意味着任务在内存中的位置保持不变。为什么不让这里的内容移动？上面讲过编译器会将Future翻译为状态机，而状态机中是有变量引用任务的，如果任务在内存中的位置发生变化，则可能引用到无效的位置，造成内存引用不安全。所以这里需要声明为Pin。读者可能会问，Rust编译器应当可以检查出这种情况呀，毕竟它有严格的变量所有权的机制。但是这个状态机的引用是一类特殊的引用：自引用，自己指向自己，将状态机/任务整体move到其他内存位置上时，自引用的指针将指向非法地址，于是会造成问题。

什么是异步编程

试一下异步编程

异步任务到底是如何执行的

细节: 为什么要用Pin

更多阅读材料