本篇文章给大家谈谈lora技术局限性，以及lora与其他技术的区别对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。
LoRa、Sigfox、Cellular这三种通信技术你pick哪个?
〖壹〗、 首先，LoRa（低功率广域网）设计用于远距离、低比特率通信，适合远程传感器等应用。其工作频率低于1GHz，使用直接序列扩频技术，拥有比WiFi更长的覆盖范围，且干扰较少。LoRa在欧洲的运行频率为863-870MHz，在美国则为915MHz。尽管LoRa是封闭源代码，但用户可以自行建立个人网络。
〖贰〗、 Sigfox：更依赖移动服务商的基站，适用于信号覆盖不足的偏远地区或城市环境。LoRa：由Semtech公司开发，基于扩频技术，带宽通常为125kHz或更高，通过频率调制提高接收灵敏度。频谱利用和干扰：Sigfox：使用较窄的频谱，每条信息传输占用频谱少，可能面临的干扰较少。
〖叁〗、 Lora无线通信技术是由Semtech公司开发的一种低功耗、长距离的无线通信技术，采用扩频调制方式实现高抗干扰性能，并且具备优秀的穿透能力和低功耗特性，适用于广域物联网应用。
〖肆〗、 LoRaWAN是低功耗广域网技术，基于LoRa调制，具备长距离通信及低电量消耗特点，适用于传感器网络等无需高频数据传输场景。技术架构 LoRaWAN架构分为终端节点、网关和网络服务器三层，星状拓扑设计支持数以万计终端节点的处理。关键特性 支持单播、组播和广播三种通信类型，提供不同可靠性的数据传输策略。
lora这种微调方法和全参数比起来有什么劣势吗?
〖壹〗、 Lora微调方法在轻量化和低资源利用方面具有显著优势，但其模型参数量有限，通常在百万到千万级别。这导致其在效果上可能不如全参数微调方法。在扩散模型中，Lora可能感知效果不如预期，而在大型语言模型（LLM）上，差距可能更加明显。为了改进这一局限性，一种称为quantized Lora（qlora）的技术被推荐。
〖贰〗、 优势 高效：LoRA 仅需优化部分参数矩阵，显著减少了微调的成本和资源消耗。 快速：相比全量参数微调，LoRA 的微调过程更加迅速，能够更快地适应特定任务。 资源节约：LoRA 降低了对计算资源和存储资源的需求，使得大模型微调更加可行。
〖叁〗、 (4) 优势显著减少可训练参数量，保持与全参数微调相当的性能，降低内存需求。(5) 缺点可能受限于任务特定的性能提升，适应复杂任务的能力需进一步验证。
〖肆〗、 LoRA相比全参数微调（Full-tune）更省显存的原因在于，全参数微调需要加载主干模型到内存中，这部分显存无法省掉，且全参数微调的梯度计算需要计算主干模型的梯度，这部分显存也必须保留。而LoRA的梯度依赖于主干模型的梯度，但不需要存储主干模型的优化器状态。
物联网中的底层通讯技术——扩频和超窄带对比
大多数LPWAN技术使用两种主要的替代方法来支持物理层通信：超窄带（UNB）和扩频（SS）。UNB（超窄带）技术和SS（扩频）技术 UNB技术采用超窄频谱信道，其特征是相邻子载波可以正交，有效避免子载波之间的干扰。UNB技术通过窄带调制，实现简单的信号处理和低成本的收发器设计。
其次，Sigfox作为一家法国公司，专注于构建远程、低功耗物联网无线网络。其运行频率在欧洲约为868MHz，在美国为902MHz。Sigfox采用“超窄带”技术，通信带宽仅为100Hz。在有效负载中，上传比较多 可包含12个字节，下载则比较多 8个字节。与LoRa不同，Sigfox不提供私人基站供个人使用，可能在某些地区无法提供服务。
LoRa产业链成熟比NB-IoT早，针对物联网快速发展的业务需求和技术空窗期，部分运营商选取 部署LoRa，作为蜂窝物联网的补充，如Orange， SKT， KPN， Swisscom等。SigfoxSigfox兴起于法国的Sigfox公司以超窄带(UNB，Ultra Narrow Band)技术建设物联网设备专用的无线网络。
无线传感器通信依赖多种无线标准，包括蜂窝技术、WiFi、低功耗蓝牙（BLE）与Zigbee。其中，LPWAN技术正在兴起，为无线传感器网络提供更高效、低成本的解决方案。LoRa、Sigfox与NB-IoT是当前领先的LPWAN技术。
Lora无线技术原理及优缺点
LoRa无线技术缺点： 数据传输速率：虽然LoRa技术适用于发送和接收少量数据的应用，但其数据传输速率相对较低，不适合大量数据传输。 带宽占用：使用高扩频因子会增加无线电频谱的占用，可能在一定程度上影响频谱资源的有效利用。
lora无线技术的优缺点lora无线模块的优点传输距离远lora无线模块在市面上收欢迎最主要的原因之一，就是在同等功率下的条件下，lora无线模块传输距离都会超过其他系列的无线模块。
LoRa技术具有远距离、低功耗（电池寿命长）、多节点、低成本的特性。
LoRa基于扩频技术，抗干扰能力强。LoRa所能达到的接收灵敏度从理论上提供了高可靠通信的可能性。LoRa的接收灵敏度明显优于ZigBee的接收灵敏度。如引言所提到，近来 智能家居亟待优化的可靠性问题，LoRa是一个非常好的选取 。
LoRa的一大特点是在同样功耗下比其它无线方式传播的距离更远，实现了低功耗和远距离的统一，LoRa网络主要由基站（也可以是网关）、服务器、LoRa终端和物联网云四部分组成，其特点是应用端和服务器端数据双向传递。
NB-IoT技术特点覆盖广 将提供改进的室内覆盖，在同样的频段下，NB-IoT比现有的网络增益20dB，相当于提升了100倍覆盖区域的能力；海量连接能力 NB-IoT比2G/3G/4G有50~100倍的上行容量提升，在同一基站的情况下，NB-IoT可以比现有无线技术提供50~100倍的接入数。
SD模型微调方法
〖壹〗、 Network Rank建议设置为128，Network Alpha用于调整网络维度，LR Scheduler推荐使用恒定学习率。优化选项包括混合精度（FP16或BF16）、CPU线程数、优化方法（AdamW8bit）、Cache latent等，增强选项涉及数据增强、dropout、噪声添加等。微调SD模型时，关键在于理解参数的作用，结合实际任务需求进行实验调整。
〖贰〗、 Textual Inversion 是一种微调方法，它专注于找到一个专有的嵌入向量，使得模型在输入特定提示时能够生成与文本编码器之前未见过的实体相关的图像。例如，通过训练，模型能够输出亚瑟对应的图像，尽管文本编码器之前未见过亚瑟这个词。此方法生成的数据量很小，通常只有十几千字节，但效果直观且易于理解。
〖叁〗、 理解基础： AI（模拟学习）中的SD模型，其关键参数包括：检查点（CKPT）：定义图的风格，大小通常2-10GB，存储在safetensors/ckpt格式文件中。 大模型（底膜）示例：如anything（动漫风）、v1-5-pruned（欧美风）等。
QLoRA:量化LLM的高效微调策略与实践
〖壹〗、 QLoRA通过4位量化技术，将LLM的内存需求显著降低，同时借助低秩适配器（LoRA）进行微调，保持了模型的精度和速度。其创新之处在于，即使在单个48GB GPU上，也能处理650亿参数的模型，并实现16位微调任务的性能。例如，Guanaco模型家族在Vicuna基准上表现优异，只需24小时的微调就接近了ChatGPT的93%水平。
〖贰〗、 全参调整：对整个模型的所有参数进行调整。部分冻结参数调整：冻结部分参数，仅对部分参数进行调整。LoRA：通过引入额外的低秩参数来提高模型对特定任务的适应性，降低了资源消耗。QLoRA：LoRA的量化版本，进一步减少了资源需求。
〖叁〗、 QLoRA结合模型量化技术与LoRA参数微调策略，允许在有限内存（如48GB GPU内存）上对大型模型（如65B参数）进行微调。QLoRA采用的量化方法集成于bitsandbytes库，成为Transformers模型量化的官方实现。自2023年7月14日以来，采用QLoRA微调的Guanaco模型在多个任务上表现出色，在Open LLM Leaderboard上排名第二。
〖肆〗、 对比Adapter和LST方法，LoRA在反向传播阶段计算复杂度略高，但梯度下降参数少，节省显存，梯度下降速度快。初始化B和A矩阵时，确保B矩阵初始为全零，A矩阵为非全零，以避免梯度为0，无法进行训练。最后，我们讨论了为什么高效微调技术能加快训练速度。
〖伍〗、 总结： 使用PEFT和LoRa技术微调LLM时，可以根据具体任务需求选取 合适的微调方法。 PromptTuning、PTuning和PrefixTuning等方法通过优化提示或前缀向量来引导模型生成符合期望的输出。 LoRa技术通过修改权重训练和更新方式，实现高效微调，降低了训练成本和时间。
〖陆〗、 LoRA策略则通过修改权重更新方式，利用预训练模型的低秩特性，实现高效微调。IA3（通过抑制和放大内部激活注入适配器）和P-Tuning（基于提示的微调）是其他高级微调技术，分别通过注入学习向量和优化提示表示来提高模型性能。
lora技术局限性的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于lora与其他技术的区别、lora技术局限性的信息别忘了在本站进行查找喔。
