【专题】精品课程资料汇总

1、课程介绍

    1. 课程内容体系结构

    “并行计算”是“并行算法类教学体系”中的核心内容之一，它是处于并行算法类教学体系中的算法应用基础层次，是面向计算机专业本科高年级学生或从事计算科学的研究生的，是为了适应高性能计算机迅速发展的形势，满足国家培养面向21世纪高科技人才之需求。为此本课程在内容体系上力求有所创新，而在遵循课程自身学科性、系统性和完整性的同时，应充分考虑不同应用领域在并行计算机上求解大型科学工程问题的需求，将并行机体系结构、并行数值计算、并行算法和并行编程等课程的内容有机的整合在一起，在国内形成一门新型的“并行计算”课程。

    2. 教学内容组织方式与目的

    ①教学内容组织方式: 全课程的教学内容组织成为四篇：第一篇为并行计算的硬件基础，包括并行计算机的系统结构模型、当代并行计算机系统介绍和并行计算性能评测；第二篇为并行算法的设计，包括并行算法通用设计策略、基本设计技术和一般设计过程；第三篇为并行数值算法，包括矩阵运算、线性方程组求解和快速傅氏变换；第四篇为并行程序设计，包括并行程序设计基础、共享存储系统并行编程、分布式存储系统并行编程和并行程序设计环境与工具。

    ②教学目的: 本课程以并行计算为主题、要求讲授并行计算的硬件平台（当代并行计算机系统及其结构模型）、软件支撑（并行程序设计）和理论基础（并行算法的设计和并行数值算法）。在内容组织上，强调融并行机结构、并行算法和并行编程为一体，着重讨论并行算法的设计及其实现，并力图反映本学科的最新成就和发展趋势，体现出并行机硬件和软件相结合以及并行算法和并行编程相结合。

    3.实践性教学的设计与效果

    “并行计算”是一门实践性很强的课程，除了系统的课堂理论学习外，还配有足够数量的实践内容，以巩固和加深学生对并行算法理论、设计技术、分析方法和具体实现等各个环节的整体理解。通过课程实践，强化学生“结构—算法—编程”一体化学习方法的意识，充分理解对于求解一个给定问题的任何并行算法，都必须采用某种并行编程语言，最终运行在一台具体的并行计算机上。

    根据并行计算课程的要求，其实验教学的要求如下：

    ①熟悉三种以上的主流并行计算平台，包括共享存储的多处理机、分布存储的多计算机和目前流行的PC机群，要求学生能够使用上述几种并行计算平台所提供的硬／软件环境及工具来开展自己的实验工作。

    ②掌握至少两种并行程序设计语言标准：即分布存储的MPI和共享存储的OpenMP。对面向大型科学和工程计算的HPF（高性能Fortran）也应尽量了解和熟悉。

    ③选择某些典型的非数值并行算法和数值并行算法，使用上述的并行编程语言标准，至少在PC机群上编程调试、分析和运行它们。

    ④为了入门，选用课程中简单的计算π的样本程序为出发点，通过使用不同的并行程序设计模型和不同的并行编程语言，在不同的硬件编程环境上改造和重现，以便为进一步的实践打下基础。

    我们经过三年多的实践证明，这些实践环节是非常必要的和重要的，它可以激发学生学习并行计算的积极性，缩小理论教学和实际应用能力之间的差距，引导学生进入一个思考和探索的世界，在这个世界里，他们是学习的主动参与者，而不再是被动的接受者。

2、参考教材与参考文献

一、并行计算系列丛书

[1] 陈国良 编著. 并行计算－结构·算法·编程. 高等教育出版社（修订版），2003

             
[2] 陈国良 编著. 并行算法的设计与分析. 高等教育出版社（修订版），2002

             
[3] 陈国良 等编著. 并行计算机体系结构. 高等教育出版社，2002

             
[4] 陈国良 等编著. 并行算法实践. 高等教育出版社，2003

二、并行算法系列丛书

[5] 陈国良 编著. 并行算法：排序和选择. 中国科大出版社，1990；台湾儒林图书公司，
[6] 陈国良，陈崚 编著. VLSI计算理论与并行算法.中国科大出版社，1991；台湾儒林图书公司，1994
[7] 陈国良 主编. 并行图论算法. 中国科大出版社，1991；台湾儒林图书公司，1993

三、国外相关教材

[8] Andrews G R. Foundations of multithreaded parallel, and distributed programming,Pearson Education, 2002
[9] Akl S G.. The design and analysis of parallel algorithms. Prentice-Hall, Inc, 1989
[10] Buyya R. High performance cluster computing. Prentice-Hall, Inc, 1999
[11] Cunha J C et al. Parallel program development for cluster computing:methodology, tools and integrated environments (In advances in computation: theory and practice), Nova Science Publishers Inc, 2001
[12] Foster I. Designing and building parallel programs: concepts and tools for parallel software engineering, Addison-Wesley, 1995
[13] Hwang K. Advanced computer architecture: parallelism, scalability, and programmability. McGraw-Hill, 1993
[14] Hwang K, Xu Z. Scalable parallel computing: technology, architecture, programming. WCB/McGraw-Hill Companies, 1998
[15] JaJa J. An introduction to parallel algorithm. Addison-Wesley Pub. Company, 1992
[16] Kumar V et al. Introduction to parallel computing: design and analysis of parallel algorithms. Benjamin/Cummings Publishing Company, Inc. 1994
[17] Quinn M J. Parallel computing: theory and practice, McGraw-Hill, 1994
[18] Wilkinson B. Parallel programming: techniques and applications using networked workstations and parallel computers, Prentice-Hall, Inc, 1999

四、国内相关教材

[19] 李晓梅 等编著. 并行算法. 湖南科技出版社，1992
[20] 沈志宇 等编著. 并行程序设计. 国防科大出版社，1997
[21] 孙家昶 等编著. 网络并行计算与分布式编程环境. 科学出版社，1996
[22] 王鼎兴，陈国良编著. 互联网络结构分析. 科学出版社，1990
[23] 徐士良 编著. 计算机常用算法（第二版）. 清华大学出版社，1996
[24] 都志辉 编著. 高性能计算并行技术—MPI并行程序设计，清华大学出版社，2001

五、其它参考文献

其它参考文献

3、授课教案下载

Parallel Computing

并行计算——结构·算法·编程
第一章并行计算机系统及结构
第二章 当代并行机系统
第三章 并行计算性能评测

第四章 并行算法的设计基础

第五章 并行算法的一般设计方法

第六章 并行算法的基本设计技术

第七章 并行算法的一般设计过程

第八章 基本通讯操作

第九章 稠密矩阵运算

第十章 线性方程组的求解

第十一章 快速傅里叶变换

第十二章 并行程序设计基础

第十三章 共享存储系统编程

第十四章 分布存储系统并行编程

第十五章 并行程序设计环境与工具

Parallel Computing :Architectures Parallel Computing :Architectures· Algorithms Algorithms·Programming

Part I : Parallel Computer System Part I : Parallel Computer System Architectures

Part II: Parallel Computational Models Part II: Parallel Computational Models

Part III:Parallel Programming Part III:Parallel Programming Models

并行体系结构

并行算法设计与分析

并行程序设计

4、教学大纲

教学大纲

课程名称：并行计算
预修课程：计算机体系结构、数据结构等
开课学期：
总 学 时：60
学 分：
大纲撰写人：陈国良、徐云、孙广中

一、教学目标及要求

本课程是为计算机科学与技术专业的高年级本科生开设的专业课，也可作为面向科学和工程计算的非计算机专业的高年级本科生和研究生的选修课程。通过此课程的学习，可使学生了解和掌握计算机学科中以及大型科学与工程问题中的基本的并行与分布计算方法及其软硬基础。

二、教学重点和难点

重点：并行计算机系统结构、模型、互连方式和性能评价，并行计算模型，并行算法设计策略、基本设计技术和PCAM设计方法学，典型的并行数值算法，并行程序设计等。
难点：并行结构模型和计算模型的理解，并行算法基本设计技术，并行数值算法等。

三、教材及主要参考书教材

陈国良，《并行计算：结构，算法，编程》，北京：高教出版社，1999(初版)，2003(修订版)
主要参考书：
1.陈国良等，《并行计算机体系结构》，北京：高教出版社，2002
2.陈国良，《并行算法的设计与分析》，北京：高教出版社，2002 (修订版)
3.陈国良等，《并行算法实践》，北京：高教出版社，2003
4.Barry Wilkinson等，陆鑫达等译，《并行程序设计》，北京：机械工业出版社，2001

四、课程章节及学时分配

第一部分 并行计算硬件基础
1.并行计算机系统结构和模型 4课时
(1)并行计算机系统结构(PVP、SMP、MPP、DSM、COW)。
(2)并行计算机存储器访问模型(UMA、NUMA、COMA、NORMA)。
2.并行计算机系统互连 4课时
(1)系统互连技术(节点内的互连：总线，开关，Buses，switches；节点间的互连：SAN；系统间的互连：LAN，MAN，WAN）。
(2)互连网络拓扑(静态互连网络：LA，RC，MC，TC，HC，CCC；动态互连网络：Buses，crossbar，MINI)。标准网络（FDDI、ATM、SCI）。
3.并行系统性能评价 4课时
(1)加速比（Amdahl负载固定加速定律；Gustafson负载可扩放加速定律；Sun和Ni存储受限加速定律）。
(2)可扩放性（等效率；等速度；平均延迟）。
(3)基准测试程序（数学库；并行库；商业库；SPEC库等）。
第二部分 并行算法的设计
1.并行计算模型(PRAM，APRAM，BSP，LogP，C3)。4课时
2.并行算法的常用设计方法(串行算法的并行化，重新设计一个全新的并行算法，借用其它成熟算法来设计新的并行算法)。6课时
3.并行算法的基本设计技术(划分法，平衡树法，倍增法，分治法，流水线法，破对称法等)。6课时
4.并行算法的一般设计过程(PCAM：划分，通信，组合，映射)。4课时
5.典型并行数值算法(稠密矩阵运算，稀疏线性方程组求解，快速富氏变换等)。10课时
第三部分 并行程序设计
1.并行程序设计模型(自动并行，数据并行，共享变量，消息传递)。2课时
2.共享存储编程(ANSIX3H5，Pthreads，OpenMP，π计算)。4课时
3.消息传递编程(MPI，PVM，π计算)。6课时
4.数据并行编程(HPF，高斯消去法)。4课时
5.并行程序设计环境和工具(向量化的并行化编译器，并行程序性能分析，计算可视化等)。 2课时