C++ POCO 與 PHP 的 inflate deflate 無法互相壓縮與解壓縮

fiendcly

Dears :

前言 -

各位大大安安 !!

SORRY 我來自台灣 用語如果 有不同的地方請多包含 ....

目前手上有個專案

有個功能是利用 SOCKET 將 資料 壓縮並且 送給其它 平台或環境做整合 及 P2P 等....



會採用 POCO 主要是 這個專案有用到 :

https://github.com/OpenRTMFP/Cumulus/wiki/_pages

剛好跟我目前要寫的東西很類似 , 所以我就用 POCO 當元件庫 寫這個專案看看...

可是一接到 PHP 上就有問題了.....

目前的測試結果是

PHP inflate , deflate => FLASH As3 inflate ,deflate ... << 正常 >>

C++ POCO inflate , deflate => PHP , FLAS AS3 inflate , deflaet <<錯誤>>


使用 C++ POCO libary

http://pocoproject.org/





#################################

測試 -

測試環境 :

作業系統 - Centos6.2 64
伺服器 - HP DL380 Gen8 , CPU XEON E52620

以下是我用 POCO 寫的 CODE :
Deflate :

1. std::string Zlib::deflate (const std::string &source , int level = (-1))        {
   
2. 
   
3.         std::istringstream in(source);
   
4.         std::ostringstream out;
   
5.         Poco::DeflatingOutputStream deflaterOut(out,DeflatingStreamBuf::STREAM_ZLIB,level);
   
6. 
   
7.         // 這裡沒有使用 POCO 的 StreamCopier::copyStream 的原因是因為 , 沒法子 COPY  可能是 BUG.....
   
8.         // POCO SUPPORT 是要收費 的 , 如果知道原因的也麻煩賜教 , 謝謝!!!!
   
9.         // 寫到這裡時要小心....
   
10.         // 在不得已的情況下 ,,,, 直接用這個方式 :
    
11.         deflaterOut << in.str() ;
    
12. 
    
13.         deflaterOut.close() ;  
    
14.         deflateStr = out.str();
    
15.         return deflateStr ;
    
16. }
    

复制代码

Inflate :

1. std::string Zlib::inflate (const std::string &source)   {
   
2.         std::istringstream in(source);
   
3.         std::ostringstream out;
   
4.         Poco::InflatingInputStream inflaterIn(in);
   
5.         StreamCopier::copyStream(inflaterIn , out);
   
6.         inflateStr = out.str();
   
7.         return inflateStr ;
   
8. }
   

复制代码

PHP 就簡單多了 :

1. gzDeflate($string,level = (defalut -1));
   
2. gzInflate($string);
   

复制代码

測試結果分析 :

1. SOURCE JSON STring :
   
2. {"SID":"123456789","BID":"LD0001","DATA":{"args":{"name":"test1","passwd":"test1","item":["itme1","itme2","itme3","itme4"]}}}
   
3. 
   
4. POCO Deflate :
   
5. x▒▒V
   
6. ▒#U▒R2426153▒▒T▒Qr▒▒▒.▒!▒JV▒J▒E▒▒ :/17(_▒Z\▒.H,..OA▒,I▒U▒▒ҹ▒~n▒▒6▒▒&J▒▒▒▒
   
7. 
   
8. Lengh :
   
9. 97
   
10. 
    
11. Ascii Code :
    
12. 120 156 171 86 10 246 116 81 178 82 50 52 50 54 49 53 51 183 176 84 210 81 114 2 139 248 184 24 24 24 24 2 185 46 142 33 142 74 86 213 74 137 69 233 197 32 58 47 49 55 21 40 95 146 90 92 2 146 46 72 44 46 46 79 65 18 200 44 73 205 85 178 138 6 210 185 169 16 126 110 170 17 148 54 134 210 38 74 177 181 181 181 0 13 213 35 85
    
13. 
    
14. Hex Code :
    
15. 78 9c ab 56 a f6 74 51 b2 52 32 34 32 36 31 35 33 b7 b0 54 d2 51 72 2 8b f8 b8 18 18 18 18 2 b9 2e 8e 21 8e 4a 56 d5 4a 89 45 e9 c5 20 3a 2f 31 37 15 28 5f 92 5a 5c 2 92 2e 48 2c 2e 2e 4f 41 12 c8 2c 49 cd 55 b2 8a 6 d2 b9 a9 10 7e 6e aa 11 94 36 86 d2 26 4a b1 b5 b5 b5 0 d d5 23 55
    
16. 
    
17. PHP Deflate:
    
18. ▒V
    
19. ▒tQ▒R2426153▒▒T▒Qr▒▒▒.▒!▒JV▒J▒E▒▒ :/17(_▒Z\▒.H,..OA▒,I▒U▒▒ҹ▒~n▒▒6▒▒&J▒▒▒▒
    
20. 
    
21. Lengh :
    
22. 91
    
23. 
    
24. 
    
25. Ascii Code :
    
26. 171 86 10 246 116 81 178 82 50 52 50 54 49 53 51 183 176 84 210 81 114 2 139 248 184 24 24 24 24 2 185 46 142 33 142 74 86 213 74 137 69 233 197 32 58 47 49 55 21 40 95 146 90 92 2 146 46 72 44 46 46 79 65 18 200 44 73 205 85 178 138 6 210 185 169 16 126 110 170 17 148 54 134 210 38 74 177 181 181 181 0
    
27. 
    
28. Hex Code :
    
29. ab 56 a f6 74 51 b2 52 32 34 32 36 31 35 33 b7 b0 54 d2 51 72 2 8b f8 b8 18 18 18 18 2 b9 2e 8e 21 8e 4a 56 d5 4a 89 45 e9 c5 20 3a 2f 31 37 15 28 5f 92 5a 5c 2 92 2e 48 2c 2e 2e 4f 41 12 c8 2c 49 cd 55 b2 8a 6 d2 b9 a9 10 7e 6e aa 11 94 36 86 d2 26 4a b1 b5 b5 b5 0
    

复制代码

用 HEX 表來分析 :

POCO 在解壓縮和壓縮時 .

必需在

前面 : 多二個字元 ,  78 9c

後面 : 多了四個字元 ,   d d5 23 55


所以造成它跟 PHP 還有 FLASH 無法做 解壓縮和壓縮的動作.


有經驗的人可以分析一下狀況給在下聽嗎...

目前我暫時是硬改 前後的字元讓雙方可以溝通.

fiendcly

我的媽啊~~

終於解決了...

再串一個資料加密的邏輯就可以去睡覺了....

1. Client IP : 127.0.0.1
   
2. Client Port : 36515
   
3. Base64 Decode len :91
   
4. Base64 DeCode     :
   
5. 
   
6. Deflate len        : 97
   
7. Deflate            :
   
8. x▒▒V
   
9. ▒#U▒R2426153▒▒T▒Qr▒▒▒.▒!▒JV▒J▒E▒▒ :/17(_▒Z\▒.H,..OA▒,I▒U▒▒ҹ▒~n▒▒6▒▒&J▒▒▒▒
   
10. 
    
11. Base64 Encode      :
    
12. eJyrVgr2dFGyUjI0MjYxNTO3sFTSUXICi/i4GBgYGAK5Lo4hjkpW1UqJRenFIDovMTcVKF+S
    
13. WlwCki5ILC4uT0ESyCxJzVWyigbSuakQfm6qEZQ2htImSrG1tbUADdUjVQ==
    
14. 
    
15. inflate            :
    
16. {"SID":"123456789","BID":"LD0001","DATA":{"args":{"name":"test1","passwd":"test1","item":["itme1","itme2","itme3","itme4"]}}}
    
17. 
    
18. 
    

复制代码

fiendcly

想哭.....

沒有人回 :

後來我查了一下...

原來 POCO 的 inflate 和 deflate 是使用 ZLIB.

我有試著 從 .h 檔的STRUCT 上分析 , 找到 GZLIP 格式插入 .... 但是不支援.



因為趕著要用 ...... 所以只好先自己硬改一個版本.....


>_<" 免費的就難搞..........


程式也改好了......

1.         std::string fixsource;
   
2. 
   
3.         zlibHeader[0] = 0x78  ;
   
4.         zlibHeader[1] = 0x9c  ;
   
5.         std::string zlibHeaderStr =  zlibHeader;
   
6.         std::string fixZlibHeaderStr = zlibHeaderStr.substr(0,2); // 為什麼要再往前抽二個字元 , ( 因為 不知道為什麼我的 編譯器編出來的 CODE 往 fixsource 丟老是會多一個字元 , 為了穩定性加一下....... )
   
7. 
   
8.         zlibEnd[0] = 0xd ;
   
9.         zlibEnd[1] = 0xd5 ;
   
10.         zlibEnd[2] = 0x23 ;
    
11.         zlibEnd[3] = 0x55 ;
    
12.         std::string zlibEndStr = zlibEnd ;
    
13.         std::string fixZlibEndStr = zlibEndStr.substr(0,4);  
    
14. 
    
15.         fixsource = fixZlibHeaderStr + source + fixZlibEndStr ; // 將 HEADER 和 END 的 部份修改成 GZIP 看的懂的格式....
    
16.       
    
17.         std::istringstream in(source);
    
18. 
    

复制代码

執行 UNIT TEST .....................

1. Convert To HEX   :
   
2. ffffffab 56 a fffffff6 74 51 ffffffb2 52 32 34 32 36 31 35 33 ffffffb7 ffffffb0 54 ffffffd2 51 72 2 ffffff8b fffffff8 ffffffb8 18 18 18 18 2 ffffffb9 2e ffffff8e 21 ffffff8e 4a 56 ffffffd5 4a ffffff89 45 ffffffe9 ffffffc5 20 3a 2f 31 37 15 28 5f ffffff92 5a 5c 2 ffffff92 2e 48 2c 2e 2e 4f 41 12 ffffffc8 2c 49 ffffffcd 55 ffffffb2 ffffff8a 6 ffffffd2 ffffffb9 ffffffa9 10 7e 6e ffffffaa 11 ffffff94 36 ffffff86 ffffffd2 26 4a ffffffb1 ffffffb5 ffffffb5 ffffffb5 0 0 0 0 0 Inflate  Success
   
3. {"SID":"123456789","BID":"LD0001","DATA":{"args":{"name":"test1","passwd":"test1","item":["itme1","itme2","itme3","itme4"]}}}
   

复制代码

XD 寫支 DOS 的攻擊程式狂丟...... 還沒死掉 應該修好了 >_<"

我覺得我下次還是愛用 LINUX 內建的 函式庫比較安全.... 肝都快壞了~~~

fiendcly

一樣如上 , 因為 POCO 的 zlib 無法解壓縮 gzip 格式.

所以我我另外又寫了支 gzip inflate .....


這樣你的 POCO 就同時可以用 GZIP 和 ZLIB 做 INFLATE 和 DEFLATE 了 :

1. 
   
2. 
   
3. /*
   
4. * gzip deflate 字串壓縮
   
5. */
   
6. 
   
7. std::string Zlib::gzdeflate (const std::string &source , int level = (-1))      {
   
8. 
   
9.         std::istringstream in(source);
   
10.         std::ostringstream out;
    
11.         Poco::DeflatingOutputStream deflaterOut(out,DeflatingStreamBuf::STREAM_ZLIB,level); /// 這裡不用管它 ,我用 DeflatingStreamBuf::STREAM_GZIP 是不 WORK 的 , 它是免費的不是故意的就是還沒寫好.
    
12.         deflaterOut << in.str() ;
    
13.         deflaterOut.close() ;
    
14.         std::string zlibDeflateStr ;
    
15.         zlibDeflateStr = out.str();
    
16.         zlibDeflateStr = zlibDeflateStr.substr(2,zlibDeflateStr.length()-6); // 將 ZIP 的 HEADER 及 END 拿掉 , 前二個字元 , 後六個字元.
    
17.         deflateStr = zlibDeflateStr ;
    
18.         return deflateStr ;
    
19. }
    
20. 
    
21. 
    

复制代码

fiendcly

我把 整理好的 程式 分享在 :

http://bbs.chinaunix.net/thread-3766597-1-1.html

請多給小弟一點意見.

hellioncu

发帖支持下台湾的朋友，恭喜问题解决。
我不懂PHP

fiendcly

hellioncu 发表于 2012-08-22 10:13
发帖支持下台湾的朋友，恭喜问题解决。
我不懂PHP

我開始考慮要把 POCO 從我的專案裡慢慢抽掉了!!!!!( 這是氣話.....等產品出來了再慢慢抽 >_<" )

還好我另外有一半的東西是用 BOOST 組裝的.....

雖然~BOOST 編譯起來很慢... 但是至少沒那麼多問題 >_<" ( 可能是比較熟的關係...... )

inflate deflate 事件結束後.

又發生 Base 64 給我插入 \r 的問題.

害我又在那比對半天 HEX CODE .

動畫 TEAM 和 WEB TEAM 一直跟我報怨 BASE 64 我經過加密演算後 ( 我直接寫支 公式打亂 BASE64 的內容 )

結果他們解密後結果每次都跟我不一樣!! 因為我老是 在 第 72 個字元後自動插入


                        if (_buf.sputc('\r') == eof) return eof;
                        if (_buf.sputc('\n') == eof) return eof;


所以我的 HEX 比較表如下 :

71 31 59 4b 39 6e 52 52 73 6c 49 79 4e 44 49 32 4d 54 55 7a 74 37 42 55 30 6c 46 79 41 6f 76 34 75 42 67 59 47 42 67 43 75 53 36 4f 49 59 35 4b 56 74 56 4b 69 55 58 70 78 53 41 36 4c 7a 45 33 46 53 68 66 6b 6c 70 63 d a 41 70 49 75 53 43 77 75 4c 6b 39 42 45 73 67 73 53 63 31 56 73 6f 6f 47 30 72 6d 70 45 48 35 75 71 68 47 55 4e 6f 62 53 4a 6b 71 78 74 62 57 31 41 41 3d 3d

d = 13 = \r
a = 10 = \n

真的很想罵粗話..... 害我又浪費一個早上.....

1. 
   
2. 
   
3. Base64EncoderBuf::Base64EncoderBuf(std::ostream& ostr):
   
4.         _groupLength(0),
   
5.         _pos(0),
   
6.         _lineLength(72),
   
7.         _buf(*ostr.rdbuf())
   
8. {
   
9. }
   
10. 
    
11. 
    
12. int Base64EncoderBuf::writeToDevice(char c)
    
13. {
    
14.         static const int eof = std::char_traits<char>::eof();
    
15. 
    
16.         _group[_groupLength++] = (unsigned char) c;
    
17.         if (_groupLength == 3)
    
18.         {
    
19.                 unsigned char idx;
    
20.                 idx = _group[0] >> 2;
    
21.                 if (_buf.sputc(OUT_ENCODING[idx]) == eof) return eof;
    
22.                 idx = ((_group[0] & 0x03) << 4) | (_group[1] >> 4);
    
23.                 if (_buf.sputc(OUT_ENCODING[idx]) == eof) return eof;
    
24.                 idx = ((_group[1] & 0x0F) << 2) | (_group[2] >> 6);
    
25.                 if (_buf.sputc(OUT_ENCODING[idx]) == eof) return eof;
    
26.                 idx = _group[2] & 0x3F;
    
27.                 if (_buf.sputc(OUT_ENCODING[idx]) == eof) return eof;
    
28.                 _pos += 4;
    
29.                 if (_lineLength > 0 && _pos >= _lineLength)
    
30.                 {
    
31.                        // 就是這裡~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~~太雞婆了~
    
32. 
    
33.                         if (_buf.sputc('\r') == eof) return eof;
    
34.                         if (_buf.sputc('\n') == eof) return eof;
    
35.                         _pos = 0;
    
36.                 }
    
37.                 _groupLength = 0;
    
38.         }
    
39.         return charToInt(c);
    
40. }
    

复制代码

fiendcly

我後來研究了一下 POCO BASE64 到底都用在那裡 :

1. 
   
2. [root@FIEND poco-1.4.3p1-all]# find . -type f -exec grep -l "Base64" {} \; -print | uniq | grep -v .svn | grep -v vc | grep -v vs
   
3. ./Net/testsuite/src/MailMessageTest.h
   
4. ./Net/testsuite/src/MailMessageTest.cpp
   
5. ./Net/src/HTTPClientSession.cpp
   
6. ./Net/src/WebSocket.cpp
   
7. ./Net/src/SMTPClientSession.cpp
   
8. ./Net/src/HTTPBasicCredentials.cpp
   
9. ./Net/src/MailMessage.cpp
   
10. ./Foundation/Makefile
    
11. ./Foundation/foundation.vmsbuild
    
12. ./Foundation/testsuite/TestSuite.vxbuild
    
13. ./Foundation/testsuite/testsuite.vmsbuild
    
14. ./Foundation/testsuite/src/Base64Test.cpp
    
15. ./Foundation/testsuite/src/Base64Test.h
    
16. ./Foundation/testsuite/src/StreamsTestSuite.cpp
    
17. ./Foundation/testsuite/Makefile-Driver
    
18. ./Foundation/include/Poco/Base64Encoder.h
    
19. ./Foundation/include/Poco/Base64Decoder.h
    
20. ./Foundation/samples/base64encode/src/base64encode.cpp
    
21. ./Foundation/samples/base64decode/src/base64decode.cpp
    
22. ./Foundation/src/Base64Decoder.cpp
    
23. ./Foundation/src/Base64Encoder.cpp
    
24. ./Foundation/Foundation.vxbuild
    
25. ./doc/99100-ReleaseNotes.page
    
26. ./doc/99300-AndroidPlatformNotes.page
    
27. ./Crypto/include/Poco/Crypto/Cipher.h
    
28. ./Crypto/src/Cipher.cpp
    
29. ./CHANGELOG
    
30. ./MANIFEST
    

复制代码

./Net/src/HTTPClientSession.cpp
./Net/src/WebSocket.cpp
./Net/src/SMTPClientSession.cpp
./Net/src/HTTPBasicCredentials.cpp
./Net/src/MailMessage.cpp

Base64 如果用在 MAIL 上的話.....

這個格式完全合法.

走 HTTP 也 OK ..........

fiendcly

看來找時間要把 POCO Base64 抽掉了 :

拿來做 SERVER 端 雖然 元件的單元測試 數值是 小數點五位以下 ... 不過也不能比 SCRIPT 寫的程式...慢吧~~~~~

[root@FIEND wge_server]# ./test/base64
unittest encode success!!
Connection : 100001 , use time : 0.807738
AVG : 123803 (Request/s)
AVG Toime : 8.077299E-06 (s/Request)

unittest decode success!!
Connection : 100001 , use time : 1.190952
AVG : 83967 (Request/s)
AVG Toime : 1.190940E-05 (s/Request)



#############################################################

在 PHP 5 底下 用 PHP 預設的 函式測試..... ( 我有 優化過 PHP 底層所以比 原本的 PHP 快四成效率. )

test base64Encode :
Runing : 100000
result :
RklFTkQgdGVzdCBiYXNlIFN0cmluZyBGSUVORCB0ZXN0IGJhc2UgU3RyaW5nIEZJRU5EIHRlc3QgYmFzZSBTdHJpbmcgRklFTkQgdGVzdCBiYXNlIFN0cmluZyBGSUVORCB0ZXN0IGJhc2UgU3RyaW5nIEZJRU5EIHRlc3QgYmFzZSBTdHJpbmcgRklFTkQgdGVzdCBiYXNlIFN0cmluZyBGSUVORCB0ZXN0IGJhc2UgU3RyaW5nIEZJRU5EIHRlc3QgYmFzZSBTdHJpbmcgRklFTkQgdGVzdCBiYXNlIFN0cmluZyBGSUVORCB0ZXN0IGJhc2UgU3RyaW5nIA==NO : 100000 base64_encode() Success!!
The base64_encode() use Time : 0.4520001411438
AVG Time : 4.520001E-6  s/request



test base64Decode :
Runing : 100000
result :
FIEND test base String FIEND test base String FIEND test base String FIEND test base String FIEND test base String FIEND test base String FIEND test base String FIEND test base String FIEND test base String FIEND test base String FIEND test base String NO : 100000 base64_decode() Success!!
The base64_decode() use Time : 0.48141694068909
AVG Time : 4.814169E-6  s/request