澳门至尊网站-首页

您的位置:澳门至尊网站 > 软件综合 > 先是章并发编制程序概述,并发编程的两种样式

先是章并发编制程序概述,并发编程的两种样式

2019-10-19 23:28

并发编程的术语

  • 并发
    同时做多件事情
  • 多线程
    并发的一种形式,它采用多个线程来执行程序。
    多线程是并发的一种形式,但不是唯一的形式。
  • 并行处理
    把正在执行的大量的任务分割成小块,分配给多个同时运行的线程。
    并行处理是多线程的一种,而多线程是并发的一种。
  • 异步编程
    并发的一种形式,它采用future模式或回调(callback)机制,以避免产生不必要的线程。
    一个 future(或 promise)类型代表一些即将完成的操作。在 .NET 中,新版 future 类型有 Task 和 Task 。在老式异步编程 API 中,采用回调或事件(event),而不是future。异步编程的核心理念是异步操作(asynchronous operation):启动了的操作将会在一段时间后完成。这个操作正在执行时,不会阻塞原来的线程。启动了这个操作的线程,可以继续执行其他任务。当操作完成时,会通知它的 future,或者调用回调函数,以便让程序知道操作已经结束。
  • 响应式编程
    一种声明式的编程模式,程序在该模式中对事件做出响应。
    响应式编程的核心理念是异步事件(asynchronous event):异步事件可以没有一个实际的“开始”,可以在任何时间发生,并且可以发生多次,例如用户输入。
    如果把一个程序看作一个大型的状态机,则该程序的行为便可视为它对一系列事件做出响应,即每换一个事件,它就更新一次自己的状态。

在并发编程中我们经常听到以下一些概念,今天我将尝试进行阐述。

异步编程的两个好处

  1. 对于面向终端用户的 GUI 程序:异步编程提高了响应能力。面对在运行时被临时锁定界面的程序,异步编程可以使程序在此时仍能流畅的响应用户的输入。譬如:WPF界面,执行一个需要等待的操作时,仍可以点击输入框进行填写,而不会出现卡顿,无法点击的情况或者对页面无法进行拖拽。
  2. 对于服务器端应用:异步编程实现了可扩展性。服务器应用可以利用线程池满足其可扩展性,使用异步编程后,可扩展性通常可以提高一个数量级。即提高服务器端应用的TPS(Transactions Per Second)和 QPS (Queries Per Second)

一、并发

并行的两种形式

并行编程的使用场景:需要执行大量的计算任务,并且这些任务能分割成相互独立的任务块儿

并行的形式有两种:数据并行(data parallelism)和任务并行(task parallelim)。

数据并行(data parallelism):有大量的数据需要处理,并且每一块数据的处理过程基本上是彼此独立的。

任务并行(task parallelim):需要执行大量任务,并且每个任务的执行过程基本上是彼此独立的。任务并行可以是动态的,如果一个任务的执行结果会产生额外的任务,这些新增的任务也可以加入任务池。

实现数据并行的方法

  • Parallel.ForEach
  • PLINQ(Parallel LINQ)

每个任务块要尽可能的互相独立。 只要任务块是互相独立的,并行性就能做到最大化。一旦你在多个线程中共享状态,就必须以同步方式访问这些状态,那样程序的并行性就变差了。

数据并行重点在处理数据,任务并行则关注执行任务。

实现任务并行的方法

  • Parallel.Invoke
  • Task.Wait

通常情况下,没必要关心线程池处理任务的具体做法。数据并行和任务并行都使用动态调整的分割器,把任务分割后分配给工作线程。线程池在需要的时候会增加线程数量。线程池线程使用工作窃取队列(work-stealing queue)。

同时干多件事情,这就是并发的作用。

响应式编程Rx学习难度较大

使用场景:处理的事件中带有参数,最好采用响应式编程
响应式编程的核心概念是:可观察的流(observable stream)
响应式编程的最终代码非常像 LINQ,可以认为它就是“LINQ to events”,它采用“推送”模式,事件到达后就自行穿过查询。

web服务器可以利用并发同时处理大量用户的请求。

TPL数据流

异步编程和并行编程这两种技术结合起来就是TPL数据流
数据流网格的基本组成单元是数据流块(dataflow block)。

Rx 和 TPL有很多相同点。
网格和流都有“数据项”这一概念,数据项从网格或流的中间穿过。还有,网格和流都有“正常完成”(表示没有更多数据需要接收时发出的通知)和“不正常完成”(在处理数据中发生错误时发出的通知)这两个概念。但是,Rx 和 TPL 数据流的性能并不相同。

当需要执行需要计时的任务,最佳选择是Rx的 可观察流 observable 对象
当需要进行并行处理,最佳选择是 TPL数据流块

只要我们需要程序同时干多件事情,我们就需要并发。

线程和线程池

线程是一个独立的运行单元,每个进程内部有多个线程,每个线程可以各自同时执行指令。每个线程有自己独立的栈,但是与进程内的其他线程共享内存。
对某些程序来说,其中有一个线程是特殊的,例如用户界面程序有一个 UI 线程,控制台程序有一个 main 线程。

每个 .NET 程序都有一个线程池,线程池维护着一定数量的工作线程,这些线程等待着执行分配下来的任务。线程池可以随时监测线程的数量。配置线程池的参数多达几十个,但是建议采用默认设置,线程池的默认设置是经过仔细调整的,适用于绝大多数现实中的应用场景。

二、多线程

并发编程的设计原理

大多数并发编程技术有一个类似点:它们本质上都是函数式(functional)的。函数式编程理念是并发编程的本质。

并发编程的一种形式,其采用多个线程执行程序。

线程是一个独立的运行单元,每个进程内部有多个线程,每个线程可以各自同时执行指令。

每个线程有自己独立的栈,但是与进程内的其他线程共享内存。

线程池是线程更广泛的一种应用形式,其维护着一定数量的工作线程,这些线程等待着执行分配下来的任务。线程池可以随时监测线程的数量

线程池催生了另外一种重要的并发形式:并行处理。

多线程并不是并发编程的唯一形式,虽然.NET和Java等语言框架都对底层线程类型提供了支持,但是对开发人员并不友好,最新的.NET和Java

都提供了更高级别的抽象,让我们开发并发程序更加方便高效。

三、并行处理

将大块的任务分割成相互独立的小块,并分配给多个同时运行的线程处理。

并行处理采用多线程,提高了处理器的利用效率。

并行编程通常不适合服务器系统,服务器本身都具有并发处理能力。

数据并行可以处理大量的彼此独立的数据,比如Hadoop等大数据处理框架。

任务并行可以将彼此独立的拆分任务同时执行。

下边看下.NET中提供的并行编程

使用Parallel.ForEach进行数据并行

void RotateMatrices(IEnumerable<Matrix> matrices, float degrees)
{
    Parallel.ForEach(matrices, matrix => matrix.Rotate(degrees));
}

 

使用Parallel.ForEach进行数据并行

IEnumerable<bool> PrimalityTest(IEnumerable<int> values)
{
    return values.AsParallel().Select(val => IsPrime(val));
}

 

数据的独立性是并行性最大化的前提,否为了确保安全性就需要引入同步,从而影响程序的并行程度。

只能最大程度的并行,但是总是消灭不了同步,数据并行的结果总是需要进行聚合,Parallel实现了响应的重载及map/reduce函数。

Parallel类的Invoke方式可以实现任务并行

图片 1

void ProcessArray(double[] array)
{
    Parallel.Invoke(
        () => ProcessPartialArray(array, 0, array.Length / 2),
        () => ProcessPartialArray(array, array.Length / 2, array.Length)
    );
}
void ProcessPartialArray(double[] array, int begin, int end)
{
    // CPU 密集型的操作......
}        

图片 2

 

 

任务并行也依赖任务的独立性,同时要注意闭包对变量的引用,即使是值类型也是引用。

任务不要特别短,也不要特别长。如果任务太短,把数据分割进任务和在线程池中调度任务的开销会很大。如果任务太长,线程池就不能进行

有效的动态调整以达到工作量的平衡。

 

四、异步编程

并发编程的一种形式,它采用future模式或者回调(callback)机制,以避免产生不必要的线程。

回调和事件作为老式的异步编程,在服务器端和GUI中都有广泛的应用。

一个future或者promise代表一些即将完成的操作,在.NET中的TPL中有Task和Task<TResult>,在Java中有FutureTask,在JS中有fetch(新版Firefox

和Chorm支持)。

异步编程可以在启动一个操作之后,可以继续执行而不会被阻塞,待操作执行完之后,通知future或者执行回调函数,以便告知操作结束。

异步编程是一种功能强大的并发形式,但传统的异步编程特别复杂而且不易于代码维护。.NET和Node.JS支持的async和await,让异步编程变得

跟串行编程一样简单。

 

下面看下.NET 的两个关键字: async 和 await 。 async 关键字加在方法声明上,它的主要目的是使方法内的 await 关键字生效。如果 async 方法有

返回值,应返回 Task<T> ;如果没有返回值,应返回 Task 。这些task 类型相当于 future,用来在异步方法结束时通知主程序。下边的例子同时请求两

个服务地址,只要有一个返回结果即可完成。

 

图片 3

// 返回第一个响应的 URL 的数据长度。
private static async Task<int> FirstRespondingUrlAsync(string urlA, string urlB)
{
    var httpClient = new HttpClient();
    // 并发地开始两个下载任务。
    Task<byte[]> downloadTaskA = httpClient.GetByteArrayAsync(urlA);
    Task<byte[]> downloadTaskB = httpClient.GetByteArrayAsync(urlB);
    // 等待任意一个任务完成。
    Task<byte[]> completedTask =
    await Task.WhenAny(downloadTaskA, downloadTaskB);
    // 返回从 URL 得到的数据的长度。
    byte[] data = await completedTask;
    return data.Length;
}

图片 4

 

 

五、响应式编程

一种声明式的编程模式,程序在该模式中对事件进行响应。

程序针对不同的事件进行响应并更新自己的状态。

异步编程针对启动的操作,响应编程针对可以任何事件重复发生的异步事件。

响应式编程基于“可观察的流”(observable stream)。一旦申请了可观察流,就可以收到任意数量的数据项( OnNext ),并且流在结束时会发出一个错误(

OnError )或一个结束的通知( OnCompleted )。实际的接口如下

图片 5

interface IObserver<in T>
{
    void OnNext(T item);
    void OnCompleted();
    void OnError(Exception error);
}

interface IObservable<out T>
{
    IDisposable Subscribe(IObserver<T> observer);
}

图片 6

 

微软的 Reactive Extensions(Rx)库已经实现了所有接口。下面的代码中,前面是我们不熟悉的操作符( Interval 和 Timestamp ),最后是一个 Subscribe ,

但是中间部分是我们在 LINQ 中熟悉的操作符: Where 和 Select 。LINQ 具有的特性,Rx也都有。Rx 在此基础上增加了很多它自己的操作符,特别

是与时间有关的操作符:

Observable.Interval(TimeSpan.FromSeconds(1))
.Timestamp()
.Where(x => x.Value % 2 == 0)
.Select(x => x.Timestamp)
.Subscribe(x => Trace.WriteLine(x));

 

上面的代码中,首先是一个延时一段时间的计数器( Interval ),随后、后为每个事件加了一个时间戳( Timestamp )。接着对事件进行过滤,只包含偶数

值( Where ),选择了时间戳的值( Timestamp ),然后当每个时间戳值到达时,把它输入调试器( Subscribe )。可观察流的定义和其订阅是互相独立的。

上面最后一个例子与下面的代码等效:

图片 7

IObservable<DateTimeOffset> timestamps =
Observable.Interval(TimeSpan.FromSeconds(1))
.Timestamp()
.Where(x => x.Value % 2 == 0)
.Select(x => x.Timestamp);
timestamps.Subscribe(x => Trace.WriteLine(x));

图片 8

 

一种常规的做法是把可观察流定义为一种类型,然后将其作为 IObservable<T> 资源使用。其他类型可以订阅这些流,或者把这些流与其他操作符

组合,创建另一个可观察流Rx 的订阅也是一个资源。 Subscribe 操作符返回一个 IDisposable ,即表示订阅完成。当你响应了那个可观察流,就得处

理这个订阅。对于hot observable(热可观察流)和 cold observable(冷可观察流)这两种对象,订阅的做法各有不同。一个 hot observable 对象是指一直

在发生的事件流,如果在事件到达时没有订阅者,事件就丢失了。例如,鼠标的移动就是一个 hot observable 对象。cold observable 对象是始终没有

输入事件(不会主动产生事件)的观察流,它只会通过启动一个事件队列来响应订阅。例如,HTTP 下载是一个 cold observable 对象,只有在订阅后

才会发出 HTTP 请求。

六、并发集合和不可变集合

大多数并发集合通过快照,既可以确保一个线程修改数据,同时也可以允许多个线程同时枚举数据。

不可变集合的无法修改性确保了所有操作的简洁性,特别适合在并发编程中使用。

七、并发编程与函数编程

大多数并发编程技术本质上都是函数式(functional) 的。

函数式编程理念简化并发编程的设计。每一个并行的片段都有输入和输出。他们不依赖于全局(或共享)变量,也不会修改全局(或共享)数据结构。

函数式编程的数据不变性在确保并发安全性的前提下,同时也防止了并发的活跃性问题。

 

本文由澳门至尊网站发布于软件综合,转载请注明出处:先是章并发编制程序概述,并发编程的两种样式

关键词:

  • 上一篇:没有了
  • 下一篇:没有了