TFLite模型的開(kāi)盲盒體驗

TFLite模型的開(kāi)盲盒體驗之flatbuffer格式介紹

相信在嵌入式平臺上部署過(guò)神經(jīng)網(wǎng)絡(luò )模型的伙伴，都不會(huì )對TFLite格式陌生。TFLite是谷歌推出的一個(gè)輕量級推理庫，它的主要目標是在移動(dòng)端和嵌入式設備上部署深度學(xué)習模型。為了在這些設備上運行，需要將訓練好的TensorFlow模型轉換成一種特殊的格式，這就是TensorFlow Lite模型。轉換過(guò)程包括模型轉化、部署和優(yōu)化三個(gè)步驟，旨在提升運算速度并減少內存、顯存占用。

具體來(lái)說(shuō)，這其中最終要的就是以.TFLite為格式的模型文件，其主結構為一個(gè)Model。在這個(gè)模型中，包含了操作符(Operator code)、子圖(SubGraph)以及緩沖區(Buffer)。子圖中定義了模型中的子圖，包括各個(gè)tensor，輸入輸出的Tensor，以及子圖中的各個(gè)算子。

還真是麻雀雖小，五臟俱全啊。那么是什么技術(shù)支撐TFLite這個(gè)小小的身體內部能夠儲存這么大的能量呢？答案就是FlatBuffer。

FlatBuffers是一種高效的二進(jìn)制序列化格式，使用C++編寫(xiě)，是一個(gè)開(kāi)源的、跨平臺的序列化工具庫，由Google提供并維護。它實(shí)現了一種類(lèi)似于Protocol Buffers的序列化格式。這個(gè)庫的主要特點(diǎn)包括：對序列化的數據不需要打包和拆包，內存和效率速度高，擴展靈活，代碼依賴(lài)較少，強類(lèi)型設計，編譯期即可完成類(lèi)型檢查，使用簡(jiǎn)單，可跨平臺使用。

一個(gè)FlatBuffers文件主要由三部分組成：verison、string table和buffer。其中，version表示FlatBuffers的版本號；string table存儲了序列化數據中所有的字符串；buffer則包含了實(shí)際的數據內容。

在實(shí)際應用中，例如在A(yíng)ndroid應用程序中，JSON數據可以在應用程序之外的某個(gè)地方被轉換成FlatBuffer格式的文件。這些二進(jìn)制數據可以以文件的形式提交，也可以從API直接返回FlatBuffer二進(jìn)制文件。

值得一提的是，FlatBuffers是一種無(wú)需解碼的二進(jìn)制格式，因此其解碼性能極高，要比Protobuf快幾百倍，比JSON更快得多。所以，對于需要重度依賴(lài)反序列化的場(chǎng)景，可以考慮使用FlatBuffers。

相較于其他序列化格式，如JSON、XML和Protocol Buffers等，FlatBuffers具有以下特點(diǎn)：

1. 高效性：FlatBuffers的序列化和反序列化速度非?？?，因為它不需要進(jìn)行解析和編碼操作，而是直接將數據寫(xiě)入或讀取內存。

2. 緊湊性：FlatBuffers生成的二進(jìn)制文件大小比JSON、XML等文本格式更小，因為它只存儲實(shí)際的數據內容，而不包括任何元數據或格式化信息。

3. 靈活性：FlatBuffers支持定義復雜的數據結構，并可以在運行時(shí)動(dòng)態(tài)修改這些結構。此外，它還提供了一些高級功能，如嵌套表、枚舉類(lèi)型和引用等。

4. 易于使用：FlatBuffers提供了一個(gè)簡(jiǎn)單的API，可以方便地將數據序列化為二進(jìn)制格式，或將二進(jìn)制數據反序列化為對象。此外，它還提供了一個(gè)可視化工具，可以幫助用戶(hù)快速創(chuàng )建和管理數據模型。

5. 跨平臺性：FlatBuffers可以在多種編程語(yǔ)言中使用，包括C++、Java、Python等。此外，它還支持多種操作系統和硬件平臺。

當然，講了這么多，小編也只是想告訴大家，正所謂知己知彼。既然我們想要打開(kāi)TFLite這個(gè)盲盒，當然要知道他是誰(shuí)，以及他的一切。那么現在，我們知道了，TFLite表面上是一種模型表達格式，包含了模型的基本信息。而其內在，是一個(gè)叫做FlatBuffer的技術(shù)在支撐著(zhù)它。

具體來(lái)說(shuō)，TFLite模型實(shí)際上是以FlatBuffer格式存儲的。在進(jìn)行模型轉換時(shí)，例如將TensorFlow訓練好的模型轉化為適合在移動(dòng)設備上運行的輕量級模型時(shí)，我們主要使用的是TensorFlow Lite Converter。這個(gè)轉換器可以將訓練好的TensorFlow模型轉換成.TFLite文件，也就是FlatBuffer格式的文件。所以說(shuō)，TFLite與FlatBuffers的關(guān)系就在于，TFLite利用FlatBuffer這種高效二進(jìn)制序列化格式來(lái)存儲和表示其模型數據。

想要打開(kāi)盲盒，鑰匙就在這個(gè)叫做FlatBuffer的技術(shù)。我們可以使用flatc工具來(lái)解析FlatBuffer，其依賴(lài)對應的schema，這個(gè)schema類(lèi)似于protobuf的proto文件，用來(lái)定義數據封裝格式。

如此一來(lái)，我們就找到了切入點(diǎn)，利用一個(gè)叫做flatc的工具來(lái)解析FlatBuffer格式的TFLite模型，以查看其中的內容。當然，查看內容是為了后面根據需要進(jìn)行修改。

小編將在下期帶大家從源碼開(kāi)始構建屬于我們自己的flatc工具，并對TFLite模型進(jìn)行解析及簡(jiǎn)單修改。預知如何編輯，請見(jiàn)下期分解啦！

開(kāi)盲盒后續：TFLite模型的開(kāi)盲盒體驗之編輯模型 http://dyxdggzs.com/article/202405/458554.htm

開(kāi)盲盒終極：TFLite模型終極開(kāi)盲盒來(lái)啦！ http://dyxdggzs.com/article/202405/458557.htm