Linux系统还提供了一组sync函数，如dma_sync_single、dma_sync_sg等函数，这组sync函数的主要作用是为了支持“不进行Cache共享一致性”的DMA操作。
如果设备进行DMA操作时，不需要硬件进行Cache一致性操作[100]，那么处理器在DMA操作之前，需要使用软件指令将操作的数据区域与Cache进行同步，之后进行DMA操作。PCIe设备启动DMA请求时，如果其TLP头部Attr字段的No Snoop Attribute位为1[101]时，驱动程序也需要进行这种同步操作。在PowerPC处理器中，有一些非PCIe设备，如QE（QUICC Engine）中的一些内嵌设备，这些设备可以通过设置snoop位决定在DMA传送过程中，是否需要硬件进行Cache一致性操作。
目前多数RC或者HOST主桥都可以通过总线监听，解决PCI设备进行DMA操作的Cache一致性问题。但是有些RC，如MPC8572处理器的可以通过设置Inbound寄存器决定当前访问是否支持Cache一致性操作。
如果硬件不支持Cache共享一致性，那么PCI设备进行DMA操作时，必须使用软件指令维护存储器与Cache的同步，从而避免Cache与主存储器不一致的现象发生。
系统软件程序员使用软件指令维护Cache时，务必深入理解这些指令的特点和使用方法。在处理器系统的设计中，有两类错误最难被发现，一类是Cache与存储器系统的不一致，另一类是数据传送的序。
即使是对资深的系统程序员，也很难从这些错误表现形式中，发现是Cache不一致或者数据传送的序引发的系统错误。因此系统程序员需要重视在一个处理器系统中的Cache一致性（Cache Cohenrency）和数据完成性（Data Consistency）。
因此虽然对于多数PCI设备，Cache一致性可以由硬件保证，本节也必须讲述如何通过软件指令维护Cache的一致性。Linux系统使用dma_sync_single函数维护Cache的一致性。dma_sync_single函数的实现如源代码12-12所示。
源代码12-12 __dma_sync函数
不同的处理器系统使用不同的ops-＞sync_single_for_cpu操作函数。值得注意的是，Linux x86并没有实现ops-＞sync_single_for_cpu函数，因为使用软件指令维护Cache一致性的情况在x86处理器系统中并不多见。而Linux PowerPC使用dma_direct_sync_single_range函数实现ops-＞sync_single_for_cpus函数，该函数最终将调用__dma_sync函数。这两个函数的实现如源代码12-13所示。
源代码12-13 __dma_sync函数
在Linux PowerPC[102]中，flush_dcache_range、invalidate_dcache_range和clean_dcache_range函数分别使用dcbf、dcbi和dcbst指令实现。dcbi/dcbf/dcbst指令的格式为dcbi/dcbf/dcbst rA，rB，如源代码12-14所示。
源代码12-14 dcbi/dcbf/dcbst指令格式
dcbf、dcbi和dcbst指令的详细说明如下。
●dcbi指令首先在Cache中检查EA。如果EA在Cache中命中，将直接将EA所对应的Cache行的状态改变为I，无论这个Cache行原来的状态是什么，都不将数据回写到存储器中。
●dcbf指令首先在Cache中检查EA。如果EA在Cache中命中，则继续检查Cache的状态，如果为M，则将Cache行刷新到内存，然后Invalidate该Cache行，将Cache行的状态改变为I；否则直接Invalidate该Cache行。
●dcbst指令首先在Cache中检查EA。如果地址在Cache中命中，则继续检查Cache的状态，如果为M，则将Cache行回写到内存，然后将Cache行的状态改变为E；否则不做任何操作。(www.chuimin.cn)
在x86处理器系统中，也存在类似的Cache指令。如INVD、WBINVD和CLFLUSH指令。其中INVD指令的作用是Invalidate处理器中的内部Cache，并通过FSB总线周期Invali-date外部Cache；而WBINVD指令是在Invalidate内部和外部Cache之前，先将Cache中的数据回写，然后进行Invalidate操作。
但是这两条指令都是针对整个Cache，而不是针对某个Cache行。如果需要对Cache行进行刷新时，x86处理器可以使用CLFUSH指令操作某个Cache行，该指令所实现的功能与dcbf指令类似。单从操作Cache行的指令的角度上看，PowerPC处理器比x86处理器好得多，因此本节以PowerPC处理器为例说明这些Cache指令在不同情况下的使用方法。
下文将分别介绍在DMA写和DMA读操作中__dma_sync函数的工作流程。假设在一个单处理器系统[103]中，Cache行长度为512b，而且PCI设备进行DMA读写操作时，硬件不进行Cache一致性操作。
1.DMA写
在外部设备进行DMA写操作之前，需要使用__dma_sync函数同步Cache与存储器中的数据。有许多书籍包括Linux系统中的DMA-API文档，都认为在DMA写操作完成后，调用__dma_sync函数Invalidate数据区域所对应的Cache行，处理器就可以使用来自设备的数据。这种说法是基于设备访问的数据区域头尾都是Cache行对界的情况而言的，如果数据区域并不是Cache行对界时，这种做法将引发系统错误。
假设在一个处理器系统中，Cache行长度为64B。当一个PCI设备通过DMA写操作，访问0x1001～10FE这段数据区域时，这段数据区域将占用4个Cache行，而且并不是Cache行对界的，如图12-9所示。
图12-9 DMA写访问的数据区域不对界
如果在0x1000～0x10FF这段数据区域中，0x1000和0x10FF字节曾经被改写过，那么0x1000～103F和0x10C0～10FF这两个Cache行的状态为M，因此图12-9中阴影部分的数据与存储器不一致，而且为处理器系统中最新的数据。
而DMA写结束后，0x1001～10FE这段数据区域被PCI设备改写，且为处理器系统中最新的数据，此时这段数据区域对应的Cache行状态仍然为M。此时如果处理器Invalidate0x1001～10FE这段数据区域对应的Cache行，即Invalidate0x1000～0x10FF这段数据区域的Cache行时，将会丢失0x1000和0x10FF这两个字节中保存的合法数据。如果处理器刷新0x1001～10FE这段数据区域对应的Cache行，即刷新0x1000～0x10FF这段数据区域的Cache行时，将丢失所有来自PCI设备的数据，采用这种方法问题更大。
通过上述分析可以发现，如果在DMA写完成后，再对访问的数据区域进行Cache同步操作，将可能引发严重的Cache一致性问题，从而导致整个系统异常。
为此正确的方法是在DMA写操作之前，将其访问的数据区域与Cache进行一致性操作，如源代码12-13中“case DMA_FROM_DEVICE”所示。但是这段源代码仍然有较大的问题，因为这段代码在处理数据区域不对界的情况时，将刷新整个数据区域对应的Cache行。
这种做法不会产生错误，但是会影响效率。假设与0x1000～0x10FF这段数据区域对应的Cache行的状态都为M，那么这段程序将0x1000～103F、0x1040～0x107F、0x1080～0x10BF和0x10C0～10FF对应的Cache行都刷新到存储器中，然后再Invalidate这些Cache行。而实际上0x1040～0x10C0这段数据区域将由PCI设备重新填写，因而将这部分区域进行刷新然后再Invalidate是没有意义的。
正确的做法是刷新不对界的数据区域0x1000～1040和0x10C0～10FF，即将这段数据区域的头尾刷新即可，而直接Invalidate中间的数据区域0x1040～10BF。采用这种方法将有效地提高系统效率。
2.DMA读
外部设备进行DMA读操作之前，处理器必须保证该设备访问的数据区域与Cache一致。因此需要调用__dma_sync函数（dir参数为DMA_TO_DEVICE）将Cache中的数据回写到存储器。该函数执行完毕后，Cache中的所有数据都与存储器一致，而之前状态位为M的Cache行将更改为E。经过这个Cache同步操作后，设备进行DMA读操作就可以从存储器中获得正确的数据。
此处还有一个细节问题值得考虑，就是DMA读操作是调用dcbst指令回写Cache行，还是调用dcbf指令刷新Cache行。如上文所述dcbf和dcbst指令都将状态位为M的Cache行与存储器进行同步，只是dcbf将Cache行的M位更新为I，而dcbst指令将Cache行的状态更新为E。使用这两个指令都可以保证DMA读的数据不会出现一致性问题。
此时在处理器系统中，如果DMA读的数据将不会被处理器使用时，应该使用dcbf指令，Invalidate该Cache行，从而该Cache行可以被其他进程使用；如果DMA读的数据将很快被处理器使用时，应该使用dcbst指令，回写该Cache行，从而处理器使用该数据时，可以从Cache而不是存储器中获得。
有关PCI Express体系结构导读的文章
PCI设备向“可Cache的存储器空间”进行读操作的过程相对简单。Snoop Agent在Snoop Phase进行总线监听，并通过HIT#和HITM#信号将监听结果通知给Response Agent。下面以图3-7所示的SMP处理器系统为例，说明PCI设备对“可Cache的存储器空间”进行DMA写的实现过程。图3-7 PCI设备向可Cache的存储器空间进行写操作在图3-7所示的处理器系统中，存在4个CPU，这4个CPU通过一条FSB连接在一起，CPU之间使用MESI协议进行Cache一致性处理，而HOST主桥和存储器控制器与FSB直接相连。......
2023-10-20
同步复接中各支路信号的时钟频率相等，但各支路信号的传输距离可能不同，因此，导致各支路信号到达复接设备时其相位不能保持一致。因此，每个支路在同步复接前需要进行正码速调整，调整到较高的同一码率，然后再同步复接。图3-23是PCM二次群同步复接、分接框图。码速调整和恢复。作用是保证收、发两端保持帧同步，使分接端能正确分接。因此，各低次群的时钟速率不一定相等，所以在复接时先要进行码速调整，使各低次群同步后再复接。......
2023-06-27
基于 GPS 技术的 PMU在电力系统中主要用于数据测量，以提高电力系统状态估计的精度及进行相关的保护、监测和控制研究。在实际监测活动中，经PMU测得的电压幅值和相角精确系数大大提高。图8-17电力系统同步相量测量系统体系结构PMU 的基本功能：通过 GPS 信号同步测量和分析电流、电压数据，提供相位、幅值和频率信息。· 典型装置举例NSR-3710 同步相量测量装置为标准 19 英寸宽、4U 高机箱，其前面板如图8-18 所示。......
2023-06-28
在基于互联网的应用中，互联网作为信息传输的媒介，其带宽与稳定性对用户体验有决定性的影响。基于我国互联网发展现状，针对医院管理信息软件，开发离线应用是非常必要的。离线临时服务的启动需要一定的感知机制，不能随便就启动离线应用，毕竟这只是一种应急策略。因此系统采用了智能的离线感知判断技术，当应用真正离线或离线中心服务出现问题时，就能够第一时间捕获离线服务的运行异常，反馈给管理员和用户，并记录日志。......
2023-10-21
CY62177EV30属于常规的静态随机存储器，具有高速、宽范围供电和静默模式低功耗的特点。扩展的第二个RAM为MR4A16B，属于磁存储器，具有SRAM的读写接口与读写速度，同时具有掉电数据不丢失的特性，即可做控制算法运行用，也可用于控制算法的存储。在电路设计中，可以替代SRAM、FLASH和E2PROM等存储器以简化电路设计，增加电路设计的高效性。......
2023-11-22
运动物体三维空间运动参数的测定，在其二维影像获取阶段，需要两台或两台以上高速摄像机同步拍摄。它与运动物体、运动物体的运动速度和高速摄像机的距离、高速摄像机的拍摄速度密切相关。如高速摄像机无计时装置时，可在摄影过程中，可把闪光灯放置在被测物体附近并面对摄像机。......
2023-11-24
各级调度机构应配置一套时间同步系统，时间同步系统有多种组成方式，变电站应用以双主钟方式为主，个别小型变电站采用单主钟方式。图6-1单主钟时间同步系统的组成2．双主钟时间同步系统的组成双主钟时间同步系统由两台主时钟、多台从时钟和信号传输介质组成，为被授时设备或系统对时，如图6-2 所示。根据实际需要和技术要求，主时钟可留有接口，用来接收上一级时间同步系统下发的有线时间基准信号。图6-2双主钟时间同步系统的组成......
2023-06-28
相关推荐