2024年10月17日 · Non-iid数据问题（Non-Independent and Identically Distributed Data）：这是指客户端上的数据不是独立同分布的，即各客户端的数据可能存在较大差异。 在联合学习中处理Non - iid 数据是重要的挑战，因为不同的数据...

独立同分布（英语：Independent and identically distributed，缩写为IID）是指一组随机变量中每个变量的概率分布都相同，且这些随机变量互相独立。 独立性：采样样本之间相互独立，互不影响。 用数学公式表达：如果随机变量X和Y独立，那么它们的联合概率分布可以分解为P (X, Y) = P (X) * P (Y) 比如骰子，每次投掷都是随机1-6之间的数据，相互独立，互不影响。

本文给大家讲讲联邦学习中存在的 数据非独立同分布 (Not identically and independently distributed, Non-IID) 的问题及一些研究介绍。 1. 从 Centralized ML 走向 Federated Learning. Centralized ML： 在训练过程中将 Data 上传，在数据中心做训练和推理，将结果发送给用户：数据上传具有隐私和安全风险；时延过高；浪费终端设备的算力。 Distributed On-Site Learning： 云端将模型发送给各终端，终端根据本地数据对模型进行训练和推理：数据量少，无法从其他用 …

本文记录了，复现联邦学习论文中开展mnist的 iid 训练的全过程，从预处理流程在一个电脑上模拟多个客户端，到下载数据处理数据，到训练代码的详细解释，到最后的结果对比，耗心耗力，终于是完成了。

2024年6月9日 · IID是数据独立同分布（Independent Identically Distribution，IID），它是指一组随机变量中每个变量的概率分布是相同的，且这些随机变量互相独立。 下面介绍IID中的“独立”和“同分布”这两个概念：

独立同分布（英语：Independent and identically distributed，缩写为IID）是指一组随机变量 中每个变量的概率分布都相同，且这些随机变量互相独立。 独立性：采样样本之间相互独立，互不影响。用数学公式表达：如果随机变量X和Y独立，那么它们的联合概率分布可以 ...

在传统机器学习中，数据分布在同一个机器上，并且假设数据是从同一个分布中独立地采样的，即数据独立同分布（Independently Identically Distribution, IID）。 后来随着数据量的急剧暴长，大数据时代需要分布式算法进行并行计算，此时分布式优化（Distributed Optimization）主要做的事情是利用多台机器对大数据或者大模型进行并行计算，包括模型并行（Model Parallelism）和数据并行（Data Parallelism）两种基本范式。 但此时仍只是为了加速计算，各个客户端上的数据仍 …

2024年11月19日 · This technical survey aims to fill that gap by providing a detailed taxonomy for non-IID data, partition protocols, and metrics to quantify data heterogeneity. Additionally, we describe popular solutions to address non-IID data and standardized frameworks employed in FL with heterogeneous data.

In this work, we tackle the challenge of providing a forensic solution that can generalize well to accurately detect various unseen inpainting manipulations. More specifically, we propose a novel end-to-end Image Inpainting Detection Network (IID-Net), to detect the inpainted regions at …

2020年10月10日 · 在 概率论 与统计学中，独立同分布（英语：Independent and identically distributed，缩写为IID）是指一组随机变量中每个变量的概率分布都相同，且这些随机变量互相独立。 一组随机变量独立同分布并不意味着它们的样本空间中每个事件发生概率都相同。 例如，投掷非均匀骰子得到的结果序列是独立同分布的，但掷出每个面朝上的概率并不相同。 那么non-iid的意思即变量之间非独立，或者非同分布。 非独立：对象之间存在关系。 例如以某人的行为为 …