从多个方面详解numa node

一、numa node简介

NUMA（Non-Uniform Memory Access，非一致性内存访问）是多处理器系统中常用的一种体系结构，它的特点是有多个处理器和多个内存区域，不同的处理器能够访问不同的内存。在NUMA架构中，每个CPU节点由一个或多个CPU和一个内存子系统组成，这个内存子系统仅能被节点上的CPU访问。一个节点可能包含多个内存子系统。

NUMA节点是一组物理内存、CPU和其他设备的组合，它们通常由一个或多个处理器和它们要访问的内存单元组成。因为不同的处理器核心可以访问不同的内存，所以在NUMA系统中，一些处理器核心的运行速度可能会比其他的处理器核心慢得多。

二、NUMA的优缺点

NUMA架构的主要优点在于它提供了更大的可扩展性和更快的内存访问速度。在一个传统的对称多处理（SMP）系统中，所有处理器都共享一个总线连接到主内存，而在NUMA系统中，每个节点都可以访问固定大小的物理内存。这使得NUMA系统的可扩展性更高，因为每个节点可以独立地访问和扩展自己的内存。

另一个优点是更快的内存访问速度。在NUMA系统中，每个内存子系统只服务于其本地节点上的处理器，这意味着当一个处理器需要访问本地内存时，它不需要经过总线进行协调，并且可以直接从内存子系统中获取数据，这样可以有效减少内存访问的延迟。

缺点在于复杂性。由于具有分布式和非均匀的性质，NUMA设计和实现更加复杂，因为它需要在处理器和内存之间进行更多的协调。对于NUMA应用程序来说，要充分利用多个节点，就需要进行一些额外的编程工作，这对于不熟悉NUMA架构的开发人员来说可能会比较困难。

三、如何在Linux系统中使用NUMA

为了在Linux系统中使用NUMA，需要先了解系统中NUMA节点的状况，可以使用numactl命令来查看。以下是一个示例：


$ numactl --hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1
node 0 size: 512 MB
node 0 free: 325 MB
node 1 cpus: 2 3
node 1 size: 1024 MB
node 1 free: 512 MB

在这个输出中，可以看到该系统有两个NUMA节点（节点0和节点1），每个节点都有自己的CPU和内存。节点0中有两个CPU和512MB内存，节点1中有两个CPU和1GB内存。情况可能会因为不同的系统而异，但是numactl命令可以作为了解NUMA配置的好工具。

在Linux中，可以使用Numa API来处理程序的内存分配和线程绑定。下面的代码示例使用Numa API来将线程分配到本地节点上：


#include 
#include 

void *thread_func(void *arg) {
    int node_id = *((int *) arg);
    /* 获取可用的节点列表 */
    struct bitmask *bm = numa_allocate_cpumask();
    numa_bitmask_setbit(bm, node_id);
    numa_bind(bm);
    numa_free_cpumask(bm);
    /* 之后可以进行自己的线程操作 */
}

int main() {
    int num_threads = 4;
    pthread_t *threads = malloc(sizeof(pthread_t) * num_threads);
    int *node_ids = malloc(sizeof(int) * num_threads);
    /* 获取可用的节点列表 */
    struct bitmask *bm = numa_get_available_nodes();
    for (int i = 0; i < num_threads; i++) {
        /* 选择一个节点 */
        int node_id = numa_bitmask_next(bm, -1);
        node_ids[i] = node_id;
        numa_bitmask_clearall(bm);
        numa_bitmask_setbit(bm, node_id);
        pthread_create(&(threads[i]), NULL, thread_func, &(node_ids[i]));
    }
    for (int i = 0; i < num_threads; i++) {
        pthread_join(threads[i], NULL);
    }
    free(threads);
    free(node_ids);
}

四、NUMA的应用场景

NUMA架构主要用于处理大型计算任务，特别是需要大量内存和分布式异构计算的任务。例如在科学计算和仿真中，数据通常比较大，需要在多个节点之间共享和传输。因此，NUMA架构在高性能计算领域非常受欢迎。

在开发NUMA应用程序时，应该遵循以下几个准则：

避免在节点之间频繁移动内存使用本地内存访问尽可能多的数据尽可能使每个节点负责自己的数据和计算

五、总结

NUMA架构提供了高可扩展性和快速内存访问的优点，但也带来了更大的复杂性和难以理解的挑战。对于开发应用程序来说，要正确地利用NUMA的优势，需要深刻理解NUMA的内部工作原理，以及如何在应用程序中显式地处理内存和线程绑定。