深入剖析IPFS:点对点共享(6)- File systems&IPFS

煤油灯科技2022-06-25 08:51

由于以下原因,在IPFS中处理文件可能与你所习惯的有些不同:

  • 内容寻址意味着当文件更改时,这些文件的内容标识符(CID)也会改变。
  • 文件可能太大而无法放入在单个区块中,所以IPFS将数据分成多个区块,并使用元数据将它们连接在一起。

可变文件系统(MFS)和Unix文件系统(UnixFS)可以帮助解决这些新的文件思维方式。

小贴士

如果对MFS和UnixFS如何在IPFS与一般文件的工作中发挥作用感兴趣,请查看IPFS训练营2019年的这个视频!核心课程:IPFS如何处理文件。

Mutable File System (MFS)

由于IPFS中的文件是内容寻址和不可变的,因此编辑起来可能很复杂。可变文件系统(MFS)是一个内置于IPFS中的工具,可以像对待常规的基于名称的文件系统一样处理文件——可以添加、删除、移动和编辑MFS文件,并完成更新链接和哈希值的所有工作提供了帮助。

使用文件API工作

MFS是通过IPFS CLI和API中的files命令访问的。文件API上的命令采用ipfs.files.someMethod()的格式。这些方法被用来:

  • 创建一个目录
  • 检查目录状态
  • 添加一个文件到MFS
  • 查看目录的内容
  • 复制文件或目录
  • 移动文件或目录
  • 读取文件的内容
  • 删除文件或目录

更喜欢实践学习?在ProtoSchool的Mutable File System教程中探索这些MFS方法,直接在Web浏览器中解决编码难题。

创建目录

MFS方法ipfs.files.mkdir在指定的路径上创建一个新目录。例如,要在根目录(/)下添加一个目录实例,请运行:

await ipfs.files.mkdir('/example')

如果要创建一个嵌套在其他尚未存在的目录之下创建一个新的目录,则需要将parent的值显式设置为true,如下所示:

await ipfs.files.mkdir('/my/directory/example', { parents: true })

检查目录状态 

方法ipfs.files.stat能够检查IPFS节点上文件或目录的状态。要检查位于根目录中名为example的目录的状态,可以通过运行来调用该方法。

await ipfs.files.stat('/example')

此方法返回具有cid、大小、累积大小、类型、块、withLocality、local和sizeLocal 的对象:

// {
//   hash: CID('QmXmJBmnYqXVuicUfn9uDCC8kxCEEzQpsAbeq1iJvLAmVs'),
//   size: 60,
//   cumulativeSize: 118,
//   blocks: 1,
//   type: 'directory'
// }

如果将文件添加、移动、复制或删除到目录中,则该目录的哈希值将随着每个文件的修改而改变。

将文件添加到MFS 

要将文件添加到IPFS,请使用MFS ipfs.files.write 方法,使用以下命令:

await ipfs.files.write(path, content, [options])

提示

这个方法可以通过提供布尔选项{create: true }在IPFS实例中的指定路径,创建一个全新的文件,该文件接收多种格式的文件内容。

要在根目录下添加一个名为examplePic的文件对象,可以运行:

await ipfs.files.write('/example.jpg', examplePic, { create: true })

这个方法不提供返回值。

查看目录的内容

要检查ipfs.files.write方法是否按预期工作,使用ipfs.files.ls方法通过运行来检查MFS上的目录:

await ipfs.files.ls([path], [options])

该方法将默认列出目录(/)的内容,或者可以选择指定一个想检查的特定路径:

await ipfs.files.ls('/example')

这个方法为每个文件或目录产生一个对象数组,其属性包括名称、类型、大小、cid、模式和mtime。如果想检查一个/example目录的内容,可以运行:

await ipfs.files.ls('/example')

复制文件或目录

在可变文件系统中,像传统的系统一样,可以将文件或目录复制到新的位置,同时也把它完整地保留在它的源头。

可以通过使用以下方法做到这一点:

await ipfs.files.cp(...from, to, [options])

提示

这个方法为传递from键提供了两种格式化的选择:

  • 现有的MFS路径,指向节点中的文件或目录(例如:/my-example-dir/my-example-file.txt)。
  • IPFS路径,指向由你或同行托管的文件或目录(例如:/ipfs/QmWc7U4qGeRAEgtsyVyeW2CRVbkHW31nb24jFyks7eA2mF)

to键是MFS中的目标路径,并且有一个选项{create: true },可以用来创建不存在的父目录。

可以使用这个方法来执行不同的操作,包括:

// copy a single file into a directory
await ipfs.files.cp('/example-file.txt', '/destination-directory')
await ipfs.files.cp('/ipfs/QmWGeRAEgtsHW3ec7U4qW2CyVy7eA2mFRVbk1nb24jFyks', '/destination-directory')

// copy multiple files into a directory
await ipfs.files.cp('/example-file-1.txt', '/example-file-2.txt', '/destination-directory')
await ipfs.files.cp('/ipfs/QmWGeRAEgtsHW3ec7U4qW2CyVy7eA2mFRVbk1nb24jFyks',
 '/ipfs/QmWGeRAEgtsHW3jk7U4qW2CyVy7eA2mFRVbk1nb24jFyre', '/destination-directory')

// copy a directory into another directory
await ipfs.files.cp('/source-directory', '/destination-directory')
await ipfs.files.cp('/ipfs/QmWGeRAEgtsHW3ec7U4qW2CyVy7eA2mFRVbk1nb24jFyks', '/destination-directory')

移动文件或目录

MFS允许使用ipfs.files.mv在目录之间移动文件,如下所示:

await ipfs.files.mv(from, to, [options])

from是要移动的内容的源路径(或多个路径),而 to 是目标路径。

可以使用此方法执行不同的操作,包括:

// move a single file into a directory
await ipfs.files.mv('/example-file.txt', '/destination-directory')

// move a directory into another directory
await ipfs.files.mv('/source-directory', '/destination-directory')

// overwrite the contents of a destination file with the contents of a source file
await ipfs.files.mv('/source-file.txt', '/destination-file.txt')

// move multiple files into a directory
await ipfs.files.mv('/example-file-1.txt', '/example-file-2.txt', '/example-file-3.txt', '/destination-directory')

读取文件的内容

ipfs.files.read方法允许读取和/或显示缓冲区中文件的内容。 该方法采用以下格式:

ipfs.files.read(path, [options])

提供的路径是要读取的文件的路径,它必须指向一个文件而不是一个目录。

删除文件或目录

MFS允许使用以下方法删除文件或目录:

await ipfs.files.rm(...paths, [options])

路径是要删除的一个或多个路径。

默认情况下,如果尝试删除仍有内容的目录,请求将失败。 要删除目录及其中包含的所有内容,需要使用选项 recursive: true:

// remove a file
await ipfs.files.rm('/my/beautiful/file.txt')

// remove multiple files
await ipfs.files.rm('/my/beautiful/file.txt', '/my/other/file.txt')

// remove a directory and its contents
await ipfs.files.rm('/my/beautiful/directory', { recursive: true })

// remove a directory only if it is empty
await ipfs.files.rm('/my/beautiful/directory')

Unix 文件系统 (UnixFS)

当在IPFS中添加一个文件时,它可能太大无法装在一个区块中,所以它需要元数据来把它的所有区块连接起来。UnixFS是一种基于协议缓冲区的格式,用于描述IPFS中的文件、目录和符号链接。这种数据格式被用来表示文件和它们在IPFS中的所有链接和元数据。UnixFS创建了一个链接对象的块(或块的树)。

UnixFS 目前有Javascript和Go实现。 这些实现具有编写的模块来运行不同的功能:

  • 数据格式:管理 UnixFS 对象到协议缓冲区的序列化/反序列化
  • 导入器:从文件和目录构建 DAG
  • 导出器:导出 DAG

数据格式

在UnixFS-v1 上,数据格式由这个 protobuf 表示:

message Data {
    enum DataType {
        Raw = 0;
        Directory = 1;
        File = 2;
        Metadata = 3;
        Symlink = 4;
        HAMTShard = 5;
    }

    required DataType Type = 1;
    optional bytes Data = 2;
    optional uint64 filesize = 3;
    repeated uint64 blocksizes = 4;
    optional uint64 hashType = 5;
    optional uint64 fanout = 6;
    optional uint32 mode = 7;
    optional UnixTime mtime = 8;
}

message Metadata {
    optional string MimeType = 1;
}

message UnixTime {
    required int64 Seconds = 1;
    optional fixed32 FractionalNanoseconds = 2;
}

此 Data 对象用于 UnixFS 中的所有非叶节点:

  • 对于由多个块组成的文件,Type字段将被设置为File,fliesize将被设置为文件的总字节数,blocksize将包含每个子节点的文件大小列表。
  • 对于由单个块组成的文件,Type字段将被设置为File,fliesize将被设置为文件的总字节数,文件数据将被存储在数据字段中。

UnixFS 还支持两个可选的元数据格式字段:

  • mode - 用于以数字表示法保留文件权限。 如果未指定,则此字段默认为目录/HAMT分片的0755和适用的所有其他类型的0644。
  • mtime - 是一个双元素结构 (Seconds, FractionalNanoseconds),表示相对于 Unix 纪元 1970-01-01T00:00:00Z 的修改时间(以秒为单位)。

Importer

将文件导入UnixFS分为两个过程:分块功能和布局功能。可以使用IPFS DAG builder来测试这些功能。

分块

当一个对象被添加到IPFS时,它被分割成更小的部分,每个部分都被经过哈希处理,并且为每个分块创建一个CID。这个DAG构建过程有两个主要参数:叶片格式和分块策略。

叶子格式有两个格式选项:UnixFS叶子和原始叶子:

  • UnixFS叶子格式在新添加的对象上增加了一个数据包装器,以产生具有额外数据大小的UnixFS叶子。这个包装器被用来确定新添加的对象是文件还是目录。这种格式是CIDv0的默认格式。
  • IPFS上的原始叶子格式,其中分块输出的节点将是来自文件的原始数据,CID codec为“raw”。这主要是为了向后兼容使用UnixFS数据对象的格式而配置的。这种格式是用ipfs add--cid-version 1创建的CIDv1的默认格式,很快将成为全局默认格式。

分块策略用于确定在分块过程中可用的大小选项。该策略目前有两个不同的选项:“固定大小”和“rabin”。

  • 固定大小将把输入的数据分块成一个给定的大小。这可能是512字节,1024字节等等——字节大小越小,重复数据删除的效果越好。
  • Rabin分块将使用拉宾指纹对输入数据进行分块,以确定分块之间的边界。Rabin也会减少输入数据分块的节点数量。

布局

布局定义了从输入文件的分块中建立的树的形状。

目前有两个布局选项:平衡和涓流。此外,必须指定一个最大宽度。默认的最大宽度是174。

平衡布局创建一个最大宽度的平衡树。该树是通过从块流中抽取最大宽度的块并创建一个链接到所有这些块的UnixFS文件节点来形成的。反复进行此操作,直到创建了最大宽度的UnixFS文件节点,此时再创建一个UnixFS文件节点来递归地容纳所有的这些节点。结果树的根节点作为新导入文件的句柄被返回。

如果只有一个块,则不创建中间的UnixFS文件节点,并将单个块作为文件的句柄返回。

Exporter

从UnixFS图中导出或读取文件数据,执行顺序的遍历,发出每个叶子中包含的数据。


原文链接:https://docs.ipfs.io/concepts/file-systems/#unix-file-system-unixfs


---煤油灯科技victorlamp.com翻译整理---

你可能也喜欢这些文章

科技互联网,科技,资讯,动态,洞察,量子,计算,AI,人工智能,机器人,区块链,Web3,分布式,操作系统,OS,芯片,视频,深度,论文