CurlFtp.cpp 55 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717817918018118218318418518618718818919019119219319419519619719819920020120220320420520620720820921021121221321421521621721821922022122222322422522622722822923023123223323423523623723823924024124224324424524624724824925025125225325425525625725825926026126226326426526626726826927027127227327427527627727827928028128228328428528628728828929029129229329429529629729829930030130230330430530630730830931031131231331431531631731831932032132232332432532632732832933033133233333433533633733833934034134234334434534634734834935035135235335435535635735835936036136236336436536636736836937037137237337437537637737837938038138238338438538638738838939039139239339439539639739839940040140240340440540640740840941041141241341441541641741841942042142242342442542642742842943043143243343443543643743843944044144244344444544644744844945045145245345445545645745845946046146246346446546646746846947047147247347447547647747847948048148248348448548648748848949049149249349449549649749849950050150250350450550650750850951051151251351451551651751851952052152252352452552652752852953053153253353453553653753853954054154254354454554654754854955055155255355455555655755855956056156256356456556656756856957057157257357457557657757857958058158258358458558658758858959059159259359459559659759859960060160260360460560660760860961061161261361461561661761861962062162262362462562662762862963063163263363463563663763863964064164264364464564664764864965065165265365465565665765865966066166266366466566666766866967067167267367467567667767867968068168268368468568668768868969069169269369469569669769869970070170270370470570670770870971071171271371471571671771871972072172272372472572672772872973073173273373473573673773873974074174274374474574674774874975075175275375475575675775875976076176276376476576676776876977077177277377477577677777877978078178278378478578678778878979079179279379479579679779879980080180280380480580680780880981081181281381481581681781881982082182282382482582682782882983083183283383483583683783883984084184284384484584684784884985085185285385485585685785885986086186286386486586686786886987087187287387487587687787887988088188288388488588688788888989089189289389489589689789889990090190290390490590690790890991091191291391491591691791891992092192292392492592692792892993093193293393493593693793893994094194294394494594694794894995095195295395495595695795895996096196296396496596696796896997097197297397497597697797897998098198298398498598698798898999099199299399499599699799899910001001100210031004100510061007100810091010101110121013101410151016101710181019102010211022102310241025102610271028102910301031103210331034103510361037103810391040104110421043104410451046104710481049105010511052105310541055105610571058105910601061106210631064106510661067106810691070107110721073107410751076107710781079108010811082108310841085108610871088108910901091109210931094109510961097109810991100110111021103110411051106110711081109111011111112111311141115111611171118111911201121112211231124112511261127112811291130113111321133113411351136113711381139114011411142114311441145114611471148114911501151115211531154115511561157115811591160116111621163116411651166116711681169117011711172117311741175117611771178117911801181118211831184118511861187118811891190119111921193119411951196119711981199120012011202120312041205120612071208120912101211121212131214121512161217121812191220122112221223122412251226122712281229123012311232123312341235123612371238123912401241124212431244124512461247124812491250125112521253125412551256125712581259126012611262126312641265126612671268126912701271127212731274127512761277127812791280128112821283128412851286128712881289129012911292129312941295129612971298129913001301130213031304130513061307130813091310131113121313131413151316131713181319132013211322132313241325132613271328132913301331133213331334133513361337133813391340134113421343134413451346134713481349135013511352135313541355135613571358135913601361136213631364136513661367136813691370137113721373137413751376137713781379138013811382138313841385138613871388138913901391139213931394139513961397139813991400140114021403140414051406140714081409141014111412141314141415141614171418141914201421142214231424142514261427142814291430143114321433143414351436143714381439144014411442144314441445144614471448144914501451145214531454145514561457145814591460146114621463146414651466146714681469147014711472147314741475147614771478147914801481148214831484148514861487148814891490149114921493149414951496149714981499150015011502150315041505150615071508150915101511151215131514151515161517151815191520152115221523152415251526152715281529153015311532153315341535153615371538153915401541154215431544154515461547154815491550155115521553155415551556155715581559156015611562156315641565156615671568156915701571157215731574157515761577157815791580158115821583158415851586158715881589159015911592159315941595159615971598159916001601160216031604160516061607160816091610161116121613161416151616161716181619162016211622162316241625162616271628162916301631163216331634163516361637163816391640164116421643164416451646164716481649165016511652165316541655165616571658165916601661166216631664166516661667166816691670167116721673167416751676167716781679168016811682168316841685168616871688168916901691169216931694169516961697169816991700170117021703170417051706170717081709171017111712171317141715171617171718171917201721172217231724172517261727172817291730173117321733173417351736173717381739174017411742174317441745174617471748174917501751175217531754175517561757175817591760176117621763176417651766176717681769177017711772177317741775177617771778177917801781178217831784178517861787178817891790179117921793179417951796179717981799180018011802180318041805180618071808180918101811181218131814181518161817181818191820182118221823182418251826182718281829183018311832183318341835183618371838183918401841184218431844184518461847184818491850185118521853185418551856185718581859186018611862186318641865186618671868186918701871187218731874187518761877187818791880188118821883188418851886188718881889
  1. #include "CurlFtp.h"
  2. #include <regex>
  3. #include <iosfwd>
  4. #include <fstream>
  5. #include <spdlog.h>
  6. #include "stdlog.h"
  7. #if (__cplusplus >= 201703L)
  8. #include <filesystem>
  9. #else
  10. #endif /* (__cplusplus >= 201703L) */
  11. #include <QDir>
  12. #include <QFileInfo>
  13. #if defined(_WIN32)
  14. #include <QDir>
  15. #include <QFileInfo>
  16. #endif /* _WIN32 */
  17. /* ==================================================================================
  18. * *********************************** 全局变量 *************************************
  19. * ==================================================================================
  20. */
  21. /* 是否有初始化实例,主要用于静态函数调用curl_global_cleanup()函数前判断,有实例就不调用 */
  22. static bool hasInstace = false;
  23. /* 记录上传或者下载的时间,thread_local是C++11加入的关键字,表示在每个线程中都有自己的lastTime */
  24. static thread_local std::chrono::system_clock::time_point lastTime;
  25. static thread_local uint64_t dCount;
  26. static thread_local uint64_t uCount;
  27. static thread_local uint64_t dSpeed; /* 保存最后的下载速度 */
  28. static thread_local uint64_t uSpeed; /* 保存最后的上传速度 */
  29. /* ==================================================================================
  30. * *********************************** 全局函数 *************************************
  31. * ==================================================================================
  32. */
  33. /**
  34. * @brief 写入回调函数
  35. *
  36. * @param contents curl的数据缓冲区
  37. * @param size 数据大小,单位是size_t
  38. * @param nmemb size_t的单位字节数
  39. * @param userStr 用户提供的字符串,格式可以是任意的
  40. * @return size_t 总共获取到的数据大小,单位是字节
  41. */
  42. static size_t writeStringCallback(void *contents, size_t size, size_t nmemb, std::string *userStr)
  43. {
  44. // size_t newLength = size * nmemb;
  45. // size_t oldLength = userStr->size();
  46. // try
  47. // {
  48. // userStr->resize(oldLength + newLength);
  49. // }
  50. // catch(std::bad_alloc &e)
  51. // {
  52. // //handle memory problem
  53. // return 0;
  54. // }
  55. // std::copy_n((char*)contents, newLength, userStr->begin() + oldLength);
  56. userStr->append((char*)contents, size * nmemb);
  57. return size * nmemb;
  58. }
  59. /**
  60. * @brief 写入回调函数,listFiles需要调用
  61. *
  62. * @param buffer curl下载回来的数据
  63. * @param size 数据大小
  64. * @param nmemb 数据单位字节数
  65. * @param userp 用户传进来的容器
  66. * @return int 返回拷贝的字节数
  67. */
  68. static int writeStringListCallback(void* buffer, size_t size, size_t nmemb, void* userp)
  69. {
  70. std::vector<std::string>* fileList = static_cast<std::vector<std::string>*>(userp);
  71. std::string line(static_cast<char*>(buffer), size * nmemb);
  72. // printf("line = %s\n", line.c_str());
  73. fileList->push_back(line);
  74. return size * nmemb;
  75. }
  76. /**
  77. * @brief 写入文件回调函数
  78. *
  79. * @param contents 读取到的数据内容
  80. * @param size 数据大小
  81. * @param nmemb 数据单位
  82. * @param pFile 文件指针
  83. * @return size_t 实际读取的大小
  84. */
  85. static size_t writeFileCallBack(void* contents, size_t size, size_t nmemb, std::ostream* pFile)
  86. {
  87. pFile->write(reinterpret_cast<char*>(contents), size * nmemb);
  88. return size * nmemb;
  89. }
  90. /**
  91. * @brief 写入文件回调函数,使用Qt的QFile写文件,解决Windows下中文路径的问题
  92. *
  93. * @param contents
  94. * @param size
  95. * @param nmemb
  96. * @param pFile
  97. * @return size_t
  98. */
  99. static size_t writeFileCallBack_QT(void* contents, size_t size, size_t nmemb, QFile* pFile)
  100. {
  101. qint64 written = pFile->write(reinterpret_cast<char*>(contents), size * nmemb);
  102. if (written == -1) {
  103. // Handle write error
  104. return 0;
  105. }
  106. return static_cast<size_t>(written);
  107. }
  108. /**
  109. * @brief 写入数据到vector中
  110. *
  111. * @param contents
  112. * @param size
  113. * @param nmemb
  114. * @param vecData
  115. * @return size_t
  116. */
  117. static size_t writeDataCallBack(void* contents, size_t size, size_t nmemb, std::vector<char>* vecData)
  118. {
  119. size_t copySize = size * nmemb;
  120. vecData->insert(vecData->end(), (char*)contents, (char*)contents + copySize);
  121. return copySize;
  122. }
  123. /**
  124. * @brief 读取文件回调函数
  125. *
  126. * @param contents 下载到的数据内容
  127. * @param size 数据大小
  128. * @param nmemb 数据单位
  129. * @param pFile 文件指针
  130. * @return size_t 写入的大小
  131. */
  132. static size_t readFileCallBack(void* contents, size_t size, size_t nmemb, std::istream* pFile)
  133. {
  134. pFile->read(reinterpret_cast<char*>(contents), size * nmemb);
  135. /* 获取读取到的字节数,可能读取到文件末尾,所以不能直接使用传入的字节数 */
  136. size_t readSize = pFile->gcount();
  137. return readSize;
  138. }
  139. /**
  140. * @brief
  141. *
  142. * @param contents ftp需要的目标内容
  143. * @param size 拷贝的数据大小
  144. * @param nmemb 单个数据的字节数
  145. * @param pData 源指针
  146. * @return size_t 已拷贝的数据大小
  147. */
  148. static size_t readDataCallBack(void* contents, size_t size, size_t nmemb, CF_ArrayInfo* pData)
  149. {
  150. if(pData == nullptr)
  151. {
  152. return 0;
  153. }
  154. /* 判断是否还够本次拷贝的字节数 */
  155. size_t copySize = size * nmemb;
  156. if(pData->size - pData->pos < copySize)
  157. {
  158. copySize = pData->size - pData->pos;
  159. }
  160. memcpy(contents, pData->data + pData->pos, copySize);
  161. pData->pos += copySize;
  162. return copySize;
  163. }
  164. /**
  165. * @brief 计算速度
  166. *
  167. * @param speed
  168. * @param retSpeed
  169. * @param unit
  170. */
  171. void computeSpeed(uint64_t speed, double& retSpeed, std::string& unit)
  172. {
  173. double KB = speed / 1024.0;
  174. double MB = KB / 1024.0;
  175. double GB = MB / 1024.0;
  176. if(GB > 1)
  177. {
  178. unit = "GB/S";
  179. retSpeed = GB;
  180. }
  181. else if(MB > 1)
  182. {
  183. unit = "MB/S";
  184. retSpeed = MB;
  185. }
  186. else if(KB > 1)
  187. {
  188. unit = "KB/S";
  189. retSpeed = KB;
  190. }
  191. else {
  192. unit = "B/S";
  193. retSpeed = speed;
  194. }
  195. }
  196. /**
  197. * @brief 打印进度条
  198. *
  199. * @param type 上传还是下载类型
  200. * @param total 总大小,单位字节
  201. * @param now 现在的进度,单位字节
  202. */
  203. void printProgress(CF_TransType type, curl_off_t total, curl_off_t now)
  204. {
  205. std::string transType;
  206. uint64_t count = 0;
  207. if(type == CF_TransType::DOWNLOAD)
  208. {
  209. transType = "Download";
  210. count = now - dCount;
  211. dCount = now;
  212. }
  213. else if (type == CF_TransType::UPLOAD)
  214. {
  215. transType = "Upload";
  216. count = now - uCount;
  217. uCount = now;
  218. }
  219. /* 计算进度,百分比 */
  220. double percent = (double)now / (double)total * 100;
  221. /* 计算单位 */
  222. double tKB = total / 1024.0;
  223. double tMB = tKB / 1024.0;
  224. double tGB = tMB / 1024.0;
  225. /* 计算速度 */
  226. double speed = 0.0;
  227. std::string unit;
  228. computeSpeed(count, speed, unit);
  229. // if(speed == 0.0)
  230. // {
  231. // if(CF_TransType::DOWNLOAD == type)
  232. // {
  233. // speed = dSpeed;
  234. // }else if (CF_TransType::UPLOAD == type) {
  235. // speed = uSpeed;
  236. // }
  237. // }else {
  238. // if(CF_TransType::DOWNLOAD == type)
  239. // {
  240. // dSpeed = speed;
  241. // }else if (CF_TransType::UPLOAD == type) {
  242. // uSpeed = speed;
  243. // }
  244. // }
  245. if(tGB > 1)
  246. {
  247. double dGB = now / 1024.0 / 1024.0 / 1024.0;
  248. double speed = count / 1024.0 / 1024.0;
  249. printf("%s Total / now : %.2fGB / %.2fGB, %.2f%%, Speed:%.2f %s\r", transType.c_str(), tGB, dGB, percent, speed, unit.c_str());
  250. // printf("Download Total / now : {:.2f}GB / {:.2f}GB, {:.2f}%\r", tGB, dGB, percent);
  251. }
  252. else if(tMB > 1)
  253. {
  254. double dMB = now / 1024.0 / 1024.0;
  255. printf("%s Total / now : %.2fMB / %.2fMB, %.2f%%, Speed:%.2f %s\r", transType.c_str(), tMB, dMB, percent, speed, unit.c_str());
  256. // printf("Download Total / now : {:.2f}MB / {:.2f}MB, {:.2f}%\r", tMB, dMB, percent);
  257. }
  258. else if(tKB > 1)
  259. {
  260. double dKB = now / 1024.0;
  261. printf("%s Total / now : %.2fKB / %.2fKB, %.2f%%, Speed:%.2f %s\r", transType.c_str(), tKB, dKB, percent, speed, unit.c_str());
  262. }
  263. else
  264. {
  265. printf("%s Total / now : %lldB / %lldB, %.2f%%, Speed:%.2f %s\r", transType.c_str(), static_cast<long long>(total), static_cast<long long>(now), percent, speed, unit.c_str());
  266. }
  267. fflush(stdout);
  268. }
  269. /**
  270. * @brief 上传和下载进度回调函数,这个函数kennel会被多次调用,即使是没有在下载的时候,因此需要判断传入的数据是否是0
  271. * 必须将 CURLOPT_NOPROGRESS 设为 0 才能真正调用该函数。
  272. *
  273. * @param clientp 通过CURLOPT_XFERINFODATA 设置的指针,libcurl 不会使用它,只会将其从应用程序传递给回调函数。
  274. * 可以通过这个指针将下载的进度传递给应用程序
  275. * @param dltotal 下载的总字节数,上传的时候这个为0
  276. * @param dlnow 已经下载的总字节数
  277. * @param ultotal 需要上传的总字节数,下载的时候这个为0
  278. * @param ulnow 已经上传的总字节数
  279. * @return int 返回0表示正常,非0表示异常
  280. */
  281. static int progress_callback(void *clientp,
  282. curl_off_t dltotal,
  283. curl_off_t dlnow,
  284. curl_off_t ultotal,
  285. curl_off_t ulnow)
  286. {
  287. // LOG_DEBUG("dTotal: {}, dNow: {}, uTotal: {}, uNow: {}", dltotal, dlnow, ultotal, ulnow);
  288. if(dltotal == 0 && ultotal == 0)
  289. {
  290. dCount = 0;
  291. uCount = 0;
  292. dSpeed = 0;
  293. uSpeed = 0;
  294. return 0;
  295. }
  296. std::chrono::system_clock::time_point nowTime = std::chrono::system_clock::now();
  297. auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(nowTime - lastTime).count();
  298. // LOG_DEBUG("duration:{}", duration);
  299. if((duration < 1000) && ((dltotal != dlnow) || (ultotal != ulnow)))
  300. {
  301. return 0;
  302. }
  303. lastTime = nowTime;
  304. /* 正在下载 */
  305. if(dltotal > 0)
  306. {
  307. printProgress(CF_TransType::DOWNLOAD, dltotal, dlnow);
  308. // printf("Download Total / now : {} / {}, {:.2f}%\r", dltotal, dlnow, downloadPercent);
  309. }
  310. /* 正在上传 */
  311. else if(ultotal > 0)
  312. {
  313. printProgress(CF_TransType::UPLOAD, ultotal, ulnow);
  314. // double uploadPercent = (double)ulnow / (double)ultotal * 100;
  315. // printf("Upload Total / now : {} / {}, {:.2f}%\r", ultotal, ulnow, uploadPercent);
  316. }
  317. return 0;
  318. }
  319. /* ======================== 通配符列表示例所需回调 ======================== */
  320. /* 分块开始回调:收集文件信息并跳过实际传输 */
  321. static long chunk_bgn_cb(const void* transfer_info, void* ptr, int /*remains*/)
  322. {
  323. const struct curl_fileinfo* finfo = static_cast<const struct curl_fileinfo*>(transfer_info);
  324. if(finfo == nullptr || ptr == nullptr)
  325. {
  326. return CURL_CHUNK_BGN_FUNC_OK;
  327. }
  328. std::vector<CF_FileInfo>* out = static_cast<std::vector<CF_FileInfo>*>(ptr);
  329. // 跳过 "." 和 ".." 等无效名称
  330. if(finfo->filename && (std::string(finfo->filename) == "." || std::string(finfo->filename) == ".."))
  331. {
  332. return CURL_CHUNK_BGN_FUNC_SKIP;
  333. }
  334. CF_FileInfo fi;
  335. if(finfo->filetype == CURLFILETYPE_DIRECTORY)
  336. {
  337. fi.type = CF_FileType::DIR;
  338. }
  339. else if(finfo->filetype == CURLFILETYPE_FILE)
  340. {
  341. fi.type = CF_FileType::FILE;
  342. }
  343. else
  344. {
  345. // 其他类型(链接、设备等)不处理
  346. return CURL_CHUNK_BGN_FUNC_SKIP;
  347. }
  348. fi.size = static_cast<uint64_t>(finfo->size);
  349. fi.name = (finfo->filename ? std::string(finfo->filename) : std::string());
  350. out->push_back(std::move(fi));
  351. // 仅做枚举,不实际下载数据
  352. return CURL_CHUNK_BGN_FUNC_SKIP;
  353. }
  354. /* 分块结束回调:无特别处理 */
  355. static long chunk_end_cb(void* /*ptr*/)
  356. {
  357. return CURL_CHUNK_END_FUNC_OK;
  358. }
  359. /* 使用Windows API进行编码转换 */
  360. #if defined(_WIN32)
  361. static char* GBToUTF8(const char* gb2312)
  362. {
  363. int len = MultiByteToWideChar(CP_ACP, 0, gb2312, -1, NULL, 0);
  364. wchar_t* wstr = new wchar_t[len+1];
  365. memset(wstr, 0, len+1);
  366. MultiByteToWideChar(CP_ACP, 0, gb2312, -1, wstr, len);
  367. len = WideCharToMultiByte(CP_UTF8, 0, wstr, -1, NULL, 0, NULL, NULL);
  368. char* str = new char[len+1];
  369. memset(str, 0, len+1);
  370. WideCharToMultiByte(CP_UTF8, 0, wstr, -1, str, len, NULL, NULL);
  371. if(wstr) delete[] wstr;
  372. return str;
  373. }
  374. #endif /* _WIN32 */
  375. /* 正则表达式,匹配多个空格 */
  376. const std::regex parseRegSpace(R"(( )+)");
  377. /* 匹配以非空格开头的字符,空格隔开,中间任意字符,空格隔开,非空格组成的结尾
  378. * (文件类型) ... (文件大小,$5) ... (文件名)
  379. */
  380. const std::regex parseReg1(R"(^([^ ]+) (\d*) (\w*) (\w*) (\d*) (.*) ([^ ]+)$)");
  381. // LOG_INFO("\n-------------------\n");
  382. /* 匹配换行符,分割每一行 */
  383. const std::regex parseReg2(R"(\n)");
  384. /* 匹配文件夹 */
  385. const std::regex parseReg3(R"(^d.*)");
  386. /* 匹配文件 */
  387. const std::regex parseReg4(R"(^-.*$)");
  388. /**
  389. * @brief 解析字符串文件信息,如果FTP服务器规定好个编码,不需要进行转换
  390. *
  391. * @param strSrc 读取到的字符串
  392. * @param fileList 文件信息列表
  393. * @return true
  394. * @return false
  395. */
  396. static bool parseFileInfo(const std::string& strSrc, std::vector<CF_FileInfo>& fileInfo)
  397. {
  398. SPDLOG_DEBUG("SRC FILE INFO:\n{}", strSrc);
  399. #if defined(_WIN32)
  400. // auto str1 = GBToUTF8(strSrc.c_str());
  401. std::string str2 = strSrc;
  402. #else
  403. std::string str2 = strSrc;
  404. #endif /* _WIN32 */
  405. // LOG_DEBUG("\n{}", str2);
  406. // /* 正则表达式,匹配多个空格 */
  407. // std::regex regSpace(R"(( )+)");
  408. // /* 匹配以非空格开头的字符,空格隔开,中间任意字符,空格隔开,非空格组成的结尾
  409. // * (文件类型) ... (文件大小,$5) ... (文件名)
  410. // */
  411. // std::regex reg1(R"(^([^ ]+) (\d*) (\w*) (\w*) (\d*) (.*) ([^ ]+)$)");
  412. // // LOG_INFO("\n-------------------\n");
  413. // /* 匹配换行符,分割每一行 */
  414. // std::regex reg2(R"(\n)");
  415. // /* 匹配文件夹 */
  416. // std::regex reg3(R"(^d.*)");
  417. // /* 匹配文件 */
  418. // std::regex reg4(R"(^-.*$)");
  419. /* -1 表示对正则表达式之前的子序列感兴趣
  420. * 0 表示对正则表达式本身感兴趣,输出的就是换行符 */
  421. std::sregex_token_iterator it2(str2.begin(), str2.end(), parseReg2, -1);
  422. /* 这里取出每一行 */
  423. for(; it2 != std::sregex_token_iterator(); ++it2)
  424. {
  425. /* 去掉多余的空格 */
  426. auto line = std::regex_replace(it2->str(), parseRegSpace, " ");
  427. // LOG_INFO("{}", line);
  428. CF_FileInfo fi;
  429. /* 取出文件类型 */
  430. std::string strFileType = std::regex_replace(line, parseReg1, "$1");
  431. if(std::regex_match(strFileType, parseReg3))
  432. {
  433. fi.type = CF_FileType::DIR;
  434. }else if (std::regex_match(strFileType, parseReg4))
  435. {
  436. fi.type = CF_FileType::FILE;
  437. }
  438. /* 取出文件大小 */
  439. std::string strFileSize = std::regex_replace(line, parseReg1, "$5");
  440. fi.size = std::stoull(strFileSize);
  441. /* 取出文件名 */
  442. std::string strFileName = std::regex_replace(line, parseReg1, "$7");
  443. fi.name = strFileName;
  444. /* 加入队列 */
  445. fileInfo.push_back(fi);
  446. }
  447. return true;
  448. }
  449. /* 辅助:拆分绝对路径为 父目录(以/结尾) + 基名 */
  450. static void splitParentAndBasePath(const std::string& absPath, std::string& parentDir, std::string& fileName)
  451. {
  452. auto pos = absPath.find_last_of('/');
  453. if(pos == std::string::npos)
  454. {
  455. parentDir = "/";
  456. fileName = absPath;
  457. return;
  458. }
  459. parentDir = absPath.substr(0, pos + 1);
  460. fileName = absPath.substr(pos + 1);
  461. if(parentDir.empty()) parentDir = "/";
  462. }
  463. /* 去掉最后的“/” */
  464. std::string trimTrailingSlash(std::string s)
  465. {
  466. if (!s.empty() && s.back() == '/')
  467. s.pop_back();
  468. return s;
  469. }
  470. /* ==================================================================================
  471. * *********************************** 成员函数 *************************************
  472. * ================================================================================== */
  473. CurlFtp::CurlFtp()
  474. {
  475. /* 调用初始化函数,这个函数可以重复调用 */
  476. curl_global_init(CURL_GLOBAL_DEFAULT);
  477. /* 初始化curl */
  478. hasInstace = true;
  479. }
  480. CurlFtp::~CurlFtp()
  481. {
  482. /* 清理curl */
  483. curl_easy_cleanup(m_curl);
  484. curl_global_cleanup();
  485. hasInstace = false;
  486. }
  487. /* 设置用户名和密码 */
  488. bool CurlFtp::setUsernameAndPassword(const std::string& username, const std::string& password)
  489. {
  490. m_username = username;
  491. m_password = password;
  492. return true;
  493. }
  494. /* 设置IP和端口 */
  495. bool CurlFtp::setFtpIPAndPort(const std::string& IP, const int port)
  496. {
  497. /*先判断是否有ftp器前缀,通过正则表达式,取出IP地址和端口号,去掉前缀和后面的'/ */
  498. m_IP = IP;
  499. m_port = port;
  500. m_ftpUrl = "ftp://" + m_IP + ":" + std::to_string(m_port);
  501. LOG_INFO("Set ftpUrl = " << m_ftpUrl);
  502. m_isSftp = false;
  503. return true;
  504. }
  505. /* 设置SFTP的IP和端口 */
  506. bool CurlFtp::setSftpIPAndPort(const std::string& IP, const int port)
  507. {
  508. m_IP = IP;
  509. m_port = port;
  510. m_ftpUrl = "sftp://" + m_IP + ":" + std::to_string(m_port);
  511. LOG_INFO("Set sftpUrl = " << m_ftpUrl);
  512. m_isSftp = true;
  513. return true;
  514. }
  515. /* 设置是否忽略SSL证书,使用SFTP不建议忽略 */
  516. void CurlFtp::setIgnoreSSLCert(bool isIgnore)
  517. {
  518. m_isIgnoreSSLCert = isIgnore;
  519. }
  520. /* 设置CA证书文件 */
  521. void CurlFtp::setCaCertFile(const std::string& caCertFile)
  522. {
  523. m_caCertFile = caCertFile;
  524. }
  525. /* 设置是否启用CURL的调试信息 */
  526. void CurlFtp::enableCurlDebug(bool isPrint)
  527. {
  528. m_enableCurlDebug = isPrint;
  529. }
  530. /* 获取列表,包括文件和文件夹 */
  531. bool CurlFtp::getList(std::string dir, std::vector<CF_FileInfo>& fileInfoList)
  532. {
  533. if(m_IP.empty())
  534. {
  535. LOG_WARN("IP or port is empty");
  536. return false;
  537. }
  538. resetCurl(m_curl);
  539. /* 获取文件信息 */
  540. listByWildcard(m_curl, dir, fileInfoList);
  541. // curl_easy_cleanup(curl);
  542. return true;
  543. }
  544. /* 列出文件列表 */
  545. bool CurlFtp::getFileList(std::string dir, std::vector<std::string>& fileList)
  546. {
  547. if(m_IP.empty())
  548. {
  549. LOG_WARN("IP or port is empty");
  550. return false;
  551. }
  552. /* 检查dir,添加前缀“/” */
  553. auto dirTmp = checkDirPath(dir);
  554. std::vector<CF_FileInfo> listInfo;
  555. /* 获取文件信息 */
  556. listByWildcard(m_curl, dirTmp, listInfo);
  557. for(const CF_FileInfo& fi : listInfo)
  558. {
  559. // LOG_INFO("type = {}, size = {}, name = {}", (int)fi.type, fi.size, fi.name);
  560. if(fi.type == CF_FileType::FILE)
  561. {
  562. fileList.push_back(fi.name);
  563. }
  564. }
  565. // curl_easy_cleanup(curl);
  566. return true;
  567. }
  568. /* 获取文件夹列表 */
  569. bool CurlFtp::getDirList(std::string dir, std::vector<std::string>& dirList)
  570. {
  571. if(m_IP.empty())
  572. {
  573. LOG_WARN("IP or port is empty");
  574. return false;
  575. }
  576. /* 检查dir,添加前缀“/” */
  577. auto dirTmp = checkDirPath(dir);
  578. // CURL *curl = nullptr;
  579. // curl = curl_easy_init();
  580. // if(curl == nullptr)
  581. // {
  582. // LOG_ERROR("curl init failed !");
  583. // return false;
  584. // }
  585. resetCurl(m_curl);
  586. std::vector<CF_FileInfo> listInfo;
  587. /* 获取文件信息 */
  588. listByWildcard(m_curl, dirTmp, listInfo);
  589. for(const CF_FileInfo& fi : listInfo)
  590. {
  591. // LOG_INFO("type = {}, size = {}, name = {}", (int)fi.type, fi.size, fi.name);
  592. if(fi.type == CF_FileType::DIR)
  593. {
  594. dirList.push_back(fi.name);
  595. }
  596. }
  597. // curl_easy_cleanup(curl);
  598. return true;
  599. }
  600. /**
  601. * @brief 判断文件夹是否存在,FTP和SFTP判断方式不同
  602. * FTP使用curl检测判断,但是SFTP无论文件夹是否存在都会返回真,所以只能通过列出文件夹的方式判断
  603. *
  604. * @param dir
  605. * @return true
  606. * @return false
  607. */
  608. bool CurlFtp::existsDir(const std::string& dir)
  609. {
  610. LOG_DEBUG("Check remote dir:" << dir);
  611. if(m_ftpUrl.empty())
  612. {
  613. LOG_ERROR("ftpUrl is empty");
  614. return false;
  615. }
  616. if(dir == "/")
  617. {
  618. return true;
  619. }
  620. return checkFtpDirExist(dir);
  621. }
  622. /* 创建FTP文件夹,递归创建 */
  623. bool CurlFtp::createDirectory(const std::string& ftpDir)
  624. {
  625. /* 检查路径格式,并去掉第一个 / */
  626. std::string ftpDirTmp = checkDirPath(ftpDir);
  627. std::string ftpDir2 = ftpDirTmp.substr(1, ftpDirTmp.size() -1);
  628. /* 将文件夹分开,取出每一个文件夹名称 */
  629. std::vector<std::string> strList;
  630. std::regex reg(R"(/)");
  631. std::sregex_token_iterator it(ftpDir2.begin(), ftpDir2.end(), reg, -1);
  632. for( ; it != std::sregex_token_iterator(); ++it)
  633. {
  634. strList.push_back(it->str());
  635. }
  636. /* 将每一层拼接起来,逐层递归 */
  637. std::vector<std::string> dirList;
  638. for(const std::string& dir : strList)
  639. {
  640. std::string dirTmp = "/";
  641. if(!dirList.empty())
  642. {
  643. dirTmp = dirList.back();
  644. dirTmp += "/";
  645. }
  646. dirTmp += dir;
  647. dirList.push_back(dirTmp);
  648. }
  649. /* 逐层创建 */
  650. for(const std::string& dir : dirList)
  651. {
  652. // LOG_DEBUG("Create dir: {}", dir);
  653. if(!createOneDirectory(dir))
  654. {
  655. LOG_ERROR("Failed to create dir: " << dir);
  656. return false;
  657. }
  658. }
  659. return true;
  660. }
  661. /* 删除文件,文件后面不能带有“/”否则会报错
  662. 删除方式,先 CWD 到该文件目录,再执行 DELE 删除命令 */
  663. bool CurlFtp::deleteFile(const std::string& remoteFile)
  664. {
  665. if(m_ftpUrl.empty())
  666. {
  667. LOG_ERROR("ftpUrl is empty");
  668. return false;
  669. }
  670. /* 规范化文件路径(以/开头,且不以/结尾) */
  671. std::string filePath = checkFilePath(remoteFile);
  672. if(filePath.empty())
  673. {
  674. return false;
  675. }
  676. /* 切到父目录后再删除基名(兼容更多服务器) */
  677. std::string parentDir, fileName;
  678. splitParentAndBasePath(filePath, parentDir, fileName);
  679. if(fileName.empty())
  680. {
  681. LOG_ERROR("Delete file base name is empty: " << filePath);
  682. return false;
  683. }
  684. std::string parentUrl = m_ftpUrl + parentDir; // parentDir 以'/'结尾
  685. if(!setCommonCurlOptions(m_curl, parentUrl, 10))
  686. {
  687. return false;
  688. }
  689. struct curl_slist *headerlist = nullptr;
  690. std::string deleteCmd;
  691. if(m_isSftp)
  692. {
  693. deleteCmd = "rm " + fileName; // sftp 使用 rm
  694. }
  695. else
  696. {
  697. deleteCmd = "DELE " + fileName; // ftp 使用 DELE
  698. }
  699. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  700. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  701. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  702. LOG_DEBUG("Delete remote file: " << filePath << ", parent: " << parentDir);
  703. bool ret = performCurl(m_curl);
  704. curl_slist_free_all(headerlist);
  705. if(ret)
  706. {
  707. return true;
  708. }
  709. /* 回退:尝试使用绝对路径删除(有些服务器允许) */
  710. LOG_WARN("Delete by basename failed, try absolute path: " << filePath);
  711. std::string rootUrl = m_ftpUrl + "/";
  712. if(!setCommonCurlOptions(m_curl, rootUrl, 10))
  713. {
  714. return false;
  715. }
  716. headerlist = nullptr;
  717. if(m_isSftp)
  718. {
  719. deleteCmd = "rm " + filePath;
  720. }
  721. else
  722. {
  723. deleteCmd = "DELE " + filePath;
  724. }
  725. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  726. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  727. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  728. bool ret2 = performCurl(m_curl);
  729. curl_slist_free_all(headerlist);
  730. if(!ret2)
  731. {
  732. LOG_ERROR("Failed to delete remote file: " << filePath);
  733. }
  734. return ret2;
  735. }
  736. /* 删除文件夹,递归删除 */
  737. bool CurlFtp::deleteDirectory(const std::string& ftpDir)
  738. {
  739. if(m_ftpUrl.empty())
  740. {
  741. LOG_ERROR("ftpUrl is empty");
  742. return false;
  743. }
  744. /* 规范化目录路径,并去掉末尾斜杠 */
  745. std::string dirWithSlash = checkDirPath(ftpDir);
  746. std::string dirNoSlash = trimTrailingSlash(dirWithSlash);
  747. if(dirNoSlash.empty() || dirNoSlash == "/")
  748. {
  749. LOG_ERROR("Refuse to delete root dir: " << dirNoSlash);
  750. return false;
  751. }
  752. /* 递归删除:先删除内部所有文件和子目录,再删除自身 */
  753. std::vector<CF_FileInfo> vecChildren;
  754. // 使用通配符列举该目录下的所有条目
  755. if(!listByWildcard(m_curl, dirWithSlash, vecChildren))
  756. {
  757. LOG_WARN("List children failed before delete: " << dirWithSlash);
  758. }
  759. // 先删文件, 先切换到该目录,避免某些服务器删除失败
  760. if(!changeToDir(dirWithSlash))
  761. {
  762. LOG_ERROR("ChangeToDir failed: " << dirWithSlash);
  763. return false;
  764. }
  765. for(const auto& fi : vecChildren)
  766. {
  767. /* 软连接这些也用文件删除,不过目前貌似无法获取到软连接 */
  768. if(fi.type != CF_FileType::DIR)
  769. {
  770. if(fi.name.empty() || fi.name == "." || fi.name == "..")
  771. {
  772. continue;
  773. }
  774. if(!deleteFileRelative(fi.name))
  775. {
  776. LOG_ERROR("Failed to delete file: " << fi.name);
  777. // 回退:尝试使用绝对路径删除
  778. std::string absFile = dirWithSlash + fi.name;
  779. if(!deleteFile(absFile))
  780. {
  781. return false;
  782. }
  783. }
  784. }
  785. }
  786. // 再递归删子目录
  787. for(const auto& fi : vecChildren)
  788. {
  789. if(fi.type == CF_FileType::DIR)
  790. {
  791. if(fi.name.empty() || fi.name == "." || fi.name == "..")
  792. {
  793. continue;
  794. }
  795. std::string childDir = dirWithSlash + fi.name;
  796. std::string childNorm = checkDirPath(childDir);
  797. if(childNorm == dirWithSlash)
  798. {
  799. LOG_WARN("Skip self-recursion: " << childNorm);
  800. continue;
  801. }
  802. if(!deleteDirectory(childNorm))
  803. {
  804. LOG_ERROR("Failed to delete subdir: " << childDir);
  805. return false;
  806. }
  807. }
  808. }
  809. /* 删除自身目录,走到这一步,这个文件夹内的所有文件都被删除了 */
  810. std::string parentDir, baseName;
  811. splitParentAndBasePath(dirNoSlash, parentDir, baseName);
  812. if(baseName.empty())
  813. {
  814. LOG_ERROR("Delete directory base name is empty: " << dirNoSlash);
  815. return false;
  816. }
  817. /* 切换到父文件夹并删除当前文件夹 */
  818. if(!changeToDir(parentDir))
  819. {
  820. LOG_ERROR("ChangeToDir parent failed: " << parentDir);
  821. return false;
  822. }
  823. if(deleteDirectoryRelative(baseName))
  824. {
  825. return true;
  826. }
  827. /* 绝对路径删除回退(部分服务器支持) */
  828. {
  829. std::string rootUrl = m_ftpUrl + "/";
  830. if(!setCommonCurlOptions(m_curl, rootUrl, 10))
  831. {
  832. return false;
  833. }
  834. struct curl_slist *headerlist = nullptr;
  835. std::string deleteCmd;
  836. if(m_isSftp)
  837. {
  838. deleteCmd = std::string("rmdir ") + dirNoSlash;
  839. }
  840. else
  841. {
  842. deleteCmd = std::string("RMD ") + dirNoSlash;
  843. }
  844. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  845. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  846. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  847. bool ret2 = performCurl(m_curl);
  848. curl_slist_free_all(headerlist);
  849. if(!ret2)
  850. {
  851. LOG_ERROR("Failed to delete remote directory: " << dirNoSlash);
  852. }
  853. return ret2;
  854. }
  855. }
  856. /**
  857. * @brief 下载文件
  858. *
  859. * @param remoteFile
  860. * @param localFile
  861. * @param timeout 超时时间,单位秒
  862. * @return true
  863. * @return false
  864. */
  865. bool CurlFtp::downloadFile(const std::string& remoteFile, const std::string& localFile, size_t timeout)
  866. {
  867. if(m_ftpUrl.empty())
  868. {
  869. LOG_ERROR("ftpUrl is empty");
  870. return false;
  871. }
  872. /* 检查传入的文件是否符合规范 */
  873. std::string remoteFileTmp = checkFilePath(remoteFile);
  874. std::string ftpUrl = m_ftpUrl + remoteFileTmp;
  875. /* 检查本地文件夹是否存在,不存在则创建 */
  876. // std::string localDir = localFile.substr(0, localFile.find_last_of("/")); /* 去掉最后的 / */
  877. std::string localDirTmp = localFile.substr(0, localFile.find_last_of("/"));
  878. if(!checkLocalDir(localDirTmp))
  879. {
  880. LOG_ERROR("Failed to create local dir: " << localDirTmp);
  881. return false;
  882. }
  883. /* 打开文件,Windows需要转换成 std::wstring 和 std::wofstream */
  884. // #if defined(_WIN32) && defined(_MSC_VER)
  885. // std::wstring wLocalFile(localFile.begin(), localFile.end());
  886. // std::wofstream ofs;
  887. // ofs.open(wLocalFile, std::ios::out | std::ios::binary | std::ios::trunc);
  888. // #else
  889. // std::ofstream ofs;
  890. // ofs.open(localFile, std::ios::out | std::ios::binary | std::ios::trunc);
  891. // #endif /* defined(_WIN32) || defined(_WIN64) */
  892. // if(!ofs.is_open())
  893. // {
  894. // LOG_ERROR("Failed to open local file: " << localFile);
  895. // LOG_ERROR("Error info: " << std::strerror(errno));
  896. // return false;
  897. // }
  898. QFile file(QString::fromStdString(localFile));
  899. if(!file.open(QIODevice::WriteOnly))
  900. {
  901. LOG_ERROR("Failed to open local file: " << localFile);
  902. return false;
  903. }
  904. /* 设置FTP地址 */
  905. setCommonCurlOptions(m_curl, ftpUrl, timeout);
  906. /* 设置回调函数 */
  907. curl_easy_setopt(m_curl, CURLOPT_WRITEFUNCTION, writeFileCallBack_QT);
  908. curl_easy_setopt(m_curl, CURLOPT_WRITEDATA, &file);
  909. /* 设置进度回调函数 */
  910. curl_easy_setopt(m_curl, CURLOPT_XFERINFOFUNCTION, progress_callback);
  911. curl_easy_setopt(m_curl, CURLOPT_XFERINFODATA, nullptr);
  912. /* 启用下载进度回调函数 */
  913. curl_easy_setopt(m_curl, CURLOPT_NOPROGRESS, 0L);
  914. /* 发送请求 */
  915. bool ret = performCurl(m_curl);
  916. if(!ret)
  917. {
  918. std::stringstream ss;
  919. ss << "Failed to download file: " << ftpUrl;
  920. LOG_ERROR("Failed to get file list, Url = " << ftpUrl);
  921. /* 清理下载失败的文件 */
  922. file.close();
  923. std::remove(localFile.c_str());
  924. return false;
  925. }
  926. /* 关闭文件,清理curl */
  927. file.close();
  928. // curl_easy_cleanup(curl);
  929. /* 打印一个换行符 */
  930. // printf("\n");
  931. printf("\n");
  932. return true;
  933. }
  934. /* 下载文件到数组 */
  935. bool CurlFtp::downloadToArray(const std::string& remoteFile, std::vector<char>& arrayInfo, size_t timeout)
  936. {
  937. if(m_ftpUrl.empty())
  938. {
  939. LOG_ERROR("ftpUrl is empty");
  940. return false;
  941. }
  942. /* 检查传入的文件是否符合规范 */
  943. std::string remoteFileTmp = checkFilePath(remoteFile);
  944. std::string ftpUrl = m_ftpUrl + remoteFileTmp;
  945. /* 设置FTP地址 */
  946. setCommonCurlOptions(m_curl, ftpUrl, timeout);
  947. /* 设置回调函数 */
  948. curl_easy_setopt(m_curl, CURLOPT_WRITEFUNCTION, writeDataCallBack);
  949. curl_easy_setopt(m_curl, CURLOPT_WRITEDATA, &arrayInfo);
  950. /* 设置进度回调函数 */
  951. curl_easy_setopt(m_curl, CURLOPT_XFERINFOFUNCTION, progress_callback);
  952. curl_easy_setopt(m_curl, CURLOPT_XFERINFODATA, nullptr);
  953. /* 启用下载进度回调函数 */
  954. curl_easy_setopt(m_curl, CURLOPT_NOPROGRESS, 0L);
  955. /* 发送请求 */
  956. bool ret = performCurl(m_curl);
  957. if(!ret)
  958. {
  959. LOG_ERROR("Failed to get file list, Url = " << ftpUrl);
  960. }
  961. /* 清理curl */
  962. // curl_easy_cleanup(curl);
  963. /* 打印一个换行符 */
  964. // printf("\n");
  965. printf("\n");
  966. return ret;
  967. }
  968. /**
  969. * @brief 上传文件
  970. *
  971. * @param localFile 本地文件
  972. * @param remoteFile 远程文件
  973. * @param timeout 超时时间,单位秒
  974. * @return true
  975. * @return false
  976. */
  977. bool CurlFtp::uploadFile(const std::string& localFile, const std::string& remoteFile, size_t timeout, bool isCreateDir)
  978. {
  979. if(m_ftpUrl.empty())
  980. {
  981. LOG_ERROR("Url is empty");
  982. return false;
  983. }
  984. // printf("uploadFile: %d\n", __LINE__);
  985. /* 检查本地文件是否存在 */
  986. if(!checkLocalFileExist(localFile))
  987. {
  988. LOG_ERROR("Local file is not exist: " << localFile);
  989. return false;
  990. }
  991. // printf("uploadFile: %d\n", __LINE__);
  992. /* 检查FTP文件名是否符合规范 */
  993. std::string remoteFileTmp = checkFilePath(remoteFile);
  994. std::string remoteDirTmp = remoteFileTmp.substr(0, remoteFileTmp.find_last_of("/"));
  995. // printf("uploadFile: %d\n", __LINE__);
  996. /* 检查远程FTP上的文件夹是否存在,不存在则创建 */
  997. if(!existsDir(remoteDirTmp))
  998. {
  999. if(isCreateDir)
  1000. {
  1001. if(!createDirectory(remoteDirTmp))
  1002. {
  1003. // LOG_ERROR("Failed to create remote dir: {}", remoteFileTmp);
  1004. return false;
  1005. }
  1006. }else {
  1007. LOG_ERROR("Remote dir is not exist: " << remoteDirTmp);
  1008. return false;
  1009. }
  1010. }
  1011. // printf("uploadFile: %d\n", __LINE__);
  1012. /* 拼接远程文件的url */
  1013. std::string ftpUrl = m_ftpUrl + remoteFileTmp;
  1014. /* 打开文件 */
  1015. std::ifstream ifs;
  1016. ifs.open(localFile, std::ios::in | std::ios::binary);
  1017. if(!ifs.is_open())
  1018. {
  1019. LOG_ERROR("Failed to open local file: " << localFile);
  1020. return false;
  1021. }
  1022. // printf("uploadFile: %d\n", __LINE__);
  1023. /* 获取文件大小 */
  1024. // auto startPos = ifs.tellg();
  1025. ifs.seekg(0, std::ios::end);
  1026. auto fileSize = ifs.tellg();
  1027. /* 恢复指针到文件头 */
  1028. ifs.seekg(0, std::ios::beg);
  1029. LOG_DEBUG("File size: " << (long)fileSize);
  1030. /* 设置FTP地址 */
  1031. if(!setCommonCurlOptions(m_curl, ftpUrl, timeout))
  1032. {
  1033. ifs.close();
  1034. return false;
  1035. }
  1036. /* 启用上传 */
  1037. curl_easy_setopt(m_curl, CURLOPT_UPLOAD, 1L);
  1038. /* 设置回调函数 */
  1039. curl_easy_setopt(m_curl, CURLOPT_READFUNCTION, readFileCallBack);
  1040. curl_easy_setopt(m_curl, CURLOPT_READDATA, &ifs);
  1041. /* 设置上传文件的大小 */
  1042. curl_easy_setopt(m_curl, CURLOPT_INFILESIZE_LARGE, (curl_off_t)fileSize);
  1043. /* 设置进度回调函数 */
  1044. curl_easy_setopt(m_curl, CURLOPT_XFERINFOFUNCTION, progress_callback);
  1045. curl_easy_setopt(m_curl, CURLOPT_XFERINFODATA, nullptr);
  1046. /* 启用下载进度回调函数 */
  1047. curl_easy_setopt(m_curl, CURLOPT_NOPROGRESS, 0L);
  1048. // printf("uploadFile: %d\n", __LINE__);
  1049. /* 发送请求 */
  1050. bool ret = performCurl(m_curl);
  1051. if(!ret)
  1052. {
  1053. LOG_ERROR("Upload file failed, Url = " << ftpUrl);
  1054. }
  1055. // printf("uploadFile: %d\n", __LINE__);
  1056. /* 关闭文件,清理curl */
  1057. ifs.close();
  1058. // printf("uploadFile: %d\n", __LINE__);
  1059. // curl_easy_cleanup(curl);
  1060. /* 打印一个换行符 */
  1061. printf("\n");
  1062. return ret;
  1063. }
  1064. /**
  1065. * @brief 上传文件,上传数据
  1066. * 注意:函数内不会拷贝数据,因此在上传完成前需要保证该指针的有效性,拷贝完成后也不会销毁源数据
  1067. * 默认超时时间是30秒,也无法设置
  1068. *
  1069. * @param srcData 数据指针
  1070. * @param size 数据大小
  1071. * @param remoteFile 远程文件名,包括地址
  1072. * @param timeout 超时时间,单位秒
  1073. * @return true
  1074. * @return false
  1075. */
  1076. bool CurlFtp::uploadData(char* srcData, size_t size, const std::string& remoteFile, size_t timeout, bool isCreateDir)
  1077. {
  1078. if(m_ftpUrl.empty())
  1079. {
  1080. LOG_ERROR("Url is empty");
  1081. return false;
  1082. }
  1083. /* 初始化本地数据 */
  1084. CF_ArrayInfo arrayInfo;
  1085. arrayInfo.data = srcData;
  1086. arrayInfo.size = size;
  1087. arrayInfo.pos = 0;
  1088. /* 检查FTP文件名是否符合规范 */
  1089. std::string remoteFileTmp = checkFilePath(remoteFile);
  1090. std::string remoteDirTmp = remoteFileTmp.substr(0, remoteFileTmp.find_last_of("/"));
  1091. /* 检查远程FTP上的文件夹是否存在,不存在则创建 */
  1092. if(!existsDir(remoteDirTmp))
  1093. {
  1094. if(isCreateDir)
  1095. {
  1096. if(!createDirectory(remoteDirTmp))
  1097. {
  1098. // LOG_ERROR("Failed to create remote dir: {}", remoteFileTmp);
  1099. return false;
  1100. }
  1101. }else {
  1102. LOG_ERROR("Remote dir is not exist: " << remoteDirTmp);
  1103. return false;
  1104. }
  1105. }
  1106. /* 拼接远程文件的url */
  1107. std::string ftpUrl = m_ftpUrl + remoteFileTmp;
  1108. LOG_DEBUG("Data size: " << arrayInfo.size);
  1109. /* 设置FTP地址 */
  1110. if(!setCommonCurlOptions(m_curl, ftpUrl, timeout))
  1111. {
  1112. return false;
  1113. }
  1114. /* 启用上传 */
  1115. curl_easy_setopt(m_curl, CURLOPT_UPLOAD, 1L);
  1116. /* 设置回调函数 */
  1117. curl_easy_setopt(m_curl, CURLOPT_READFUNCTION, readDataCallBack);
  1118. curl_easy_setopt(m_curl, CURLOPT_READDATA, &arrayInfo);
  1119. /* 设置上传文件的大小 */
  1120. curl_easy_setopt(m_curl, CURLOPT_INFILESIZE_LARGE, (curl_off_t)arrayInfo.size);
  1121. /* 设置进度回调函数 */
  1122. curl_easy_setopt(m_curl, CURLOPT_XFERINFOFUNCTION, progress_callback);
  1123. curl_easy_setopt(m_curl, CURLOPT_XFERINFODATA, nullptr);
  1124. /* 启用下载进度回调函数 */
  1125. curl_easy_setopt(m_curl, CURLOPT_NOPROGRESS, 0L);
  1126. // 禁用被动模式(如果需要)
  1127. curl_easy_setopt(m_curl, CURLOPT_FTP_USE_EPSV, 1L);
  1128. if(m_enableCurlDebug)
  1129. {
  1130. /* 启用调试信息 */
  1131. curl_easy_setopt(m_curl, CURLOPT_VERBOSE, 1L);
  1132. }
  1133. /* 发送请求 */
  1134. bool ret = performCurl(m_curl);
  1135. if(!ret)
  1136. {
  1137. LOG_ERROR("Upload file failed, Url = " << ftpUrl);
  1138. }
  1139. /* 关闭文件,清理curl */
  1140. // curl_easy_cleanup(curl);
  1141. /* 打印一个换行符 */
  1142. printf("\n");
  1143. return ret;
  1144. }
  1145. /**
  1146. * @brief 列出文件列表,这个需要的参数很多,无法设置成静态函数
  1147. *
  1148. * @param curl CURL句柄
  1149. * @param dir 文件夹,相对路径,不带有IP和端口号
  1150. * @param fileList 返回值,文件列表
  1151. * @return true
  1152. * @return false
  1153. */
  1154. // bool CurlFtp::listAll(CURL* curl, std::string dir, std::vector<CF_FileInfo>& fileInfoList)
  1155. // {
  1156. // if(m_IP.empty())
  1157. // {
  1158. // LOG_ERROR("IP is empty");
  1159. // return false;
  1160. // }
  1161. // // bool result = false;
  1162. // std::string strSrc;
  1163. // /* 先设置FTP地址 */
  1164. // std::string ftpUrl = m_ftpUrl + dir;
  1165. // if(!setCommonCurlOptions(curl, ftpUrl, 10))
  1166. // {
  1167. // return false;
  1168. // }
  1169. // /* 设置列出文件命令,只列出文件名称,不携带信息 */
  1170. // // curl_easy_setopt(m_curl, CURLOPT_DIRLISTONLY, 1L);
  1171. // /* 设置为文本传输 */
  1172. // curl_easy_setopt(curl, CURLOPT_TRANSFERTEXT, 1L);
  1173. // /* 设置回调函数 */
  1174. // curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writeStringCallback);
  1175. // /* 设置需要写入的容器,回调函数的第四个参数 */
  1176. // curl_easy_setopt(curl, CURLOPT_WRITEDATA, &strSrc);
  1177. // // 禁用被动模式,设置为0是禁用(如果需要)
  1178. // // curl_easy_setopt(curl, CURLOPT_FTP_USE_EPSV, 1L);
  1179. // /* 发送请求 */
  1180. // // CURLcode res = curl_easy_perform(curl);
  1181. // bool ret = performCurl(curl);
  1182. // if(!ret)
  1183. // {
  1184. // LOG_ERROR("Failed to get file listUrl = " << ftpUrl);
  1185. // return false;
  1186. // }
  1187. // /* 解析字符串 */
  1188. // parseFileInfo(strSrc, fileInfoList);
  1189. // return true;
  1190. // }
  1191. /**
  1192. * @brief 列出文件列表,这个需要的参数很多,无法设置成静态函数
  1193. *
  1194. * @param curl CURL句柄
  1195. * @param dir 文件夹,相对路径,不带有IP和端口号
  1196. * @param fileList 返回值,文件列表
  1197. * @return true
  1198. * @return false
  1199. */
  1200. bool CurlFtp::listByWildcard(CURL* curl, const std::string& dir, std::vector<CF_FileInfo>& out)
  1201. {
  1202. if(m_IP.empty())
  1203. {
  1204. LOG_ERROR("IP is empty");
  1205. return false;
  1206. }
  1207. /* 规范化目录并追加通配符 */
  1208. std::string dirWithSlash = checkDirPath(dir); // 保证以'/'结束
  1209. std::string ftpUrl = m_ftpUrl + dirWithSlash + "*";
  1210. if(!setCommonCurlOptions(curl, ftpUrl, 10))
  1211. {
  1212. return false;
  1213. }
  1214. /* 启用通配符匹配并注册回调,仅收集信息不下载 */
  1215. curl_easy_setopt(m_curl, CURLOPT_WILDCARDMATCH, 1L);
  1216. curl_easy_setopt(m_curl, CURLOPT_CHUNK_BGN_FUNCTION, chunk_bgn_cb);
  1217. curl_easy_setopt(m_curl, CURLOPT_CHUNK_END_FUNCTION, chunk_end_cb);
  1218. curl_easy_setopt(m_curl, CURLOPT_CHUNK_DATA, &out);
  1219. // FTP 文本模式对目录兼容性更好(SFTP 忽略该设置)
  1220. if(m_isSftp == false)
  1221. {
  1222. curl_easy_setopt(m_curl, CURLOPT_TRANSFERTEXT, 1L);
  1223. }
  1224. bool ret = performCurl(m_curl);
  1225. if(!ret)
  1226. {
  1227. LOG_ERROR("Wildcard list failed, Url = " << ftpUrl);
  1228. }
  1229. return ret;
  1230. }
  1231. /* 设置常规通用的curl设置 */
  1232. bool CurlFtp::setCommonCurlOptions(CURL* curl, const std::string& ftpUrl, size_t timeout)
  1233. {
  1234. if(!resetCurl(m_curl))
  1235. {
  1236. return false;
  1237. }
  1238. /* 设置FTP地址 */
  1239. curl_easy_setopt(m_curl, CURLOPT_URL, ftpUrl.c_str());
  1240. curl_easy_setopt(m_curl, CURLOPT_PORT, m_port);
  1241. /* 设置用户名和密码 */
  1242. curl_easy_setopt(m_curl, CURLOPT_USERNAME, m_username.c_str());
  1243. curl_easy_setopt(m_curl, CURLOPT_PASSWORD, m_password.c_str());
  1244. curl_easy_setopt(m_curl, CURLOPT_USERPWD, (m_username + ":" + m_password).c_str());
  1245. /* 启用跟随重定向 */
  1246. curl_easy_setopt(m_curl, CURLOPT_FOLLOWLOCATION, 1L);
  1247. /* 设置超时时间 */
  1248. curl_easy_setopt(m_curl, CURLOPT_TIMEOUT, timeout);
  1249. curl_easy_setopt(m_curl, CURLOPT_CONNECTTIMEOUT, timeout);
  1250. /* 启用持久连接 */
  1251. curl_easy_setopt(m_curl, CURLOPT_TCP_KEEPALIVE, 1L);
  1252. if(m_enableCurlDebug)
  1253. {
  1254. /* 启用调试信息 */
  1255. curl_easy_setopt(m_curl, CURLOPT_VERBOSE, 1L);
  1256. }
  1257. /* 设置SFTP */
  1258. if(!setSftp(m_curl))
  1259. {
  1260. return false;
  1261. }
  1262. return true;
  1263. }
  1264. /* 检查文件夹路径是否合规,不合规就修改 */
  1265. std::string CurlFtp::checkDirPath(const std::string& dir)
  1266. {
  1267. std::string dirTmp = dir;
  1268. /* 检查是否以“/”开头 */
  1269. std::regex reg(R"(^/[.]*)");
  1270. if(!std::regex_match(dirTmp, reg))
  1271. {
  1272. dirTmp = "/" + dirTmp;
  1273. }
  1274. /* 如果有重复的“/”,替换成一个 “/” */
  1275. std::regex reg1(R"(//)");
  1276. dirTmp = std::regex_replace(dirTmp, reg1, "/");
  1277. /* 检查是否以“/”结束 */
  1278. if (dirTmp.back() != '/')
  1279. {
  1280. dirTmp.push_back('/');
  1281. }
  1282. return dirTmp;
  1283. }
  1284. /* 检查文件路径是否合规 */
  1285. std::string CurlFtp::checkFilePath(const std::string& file)
  1286. {
  1287. std::string dirTmp = file;
  1288. /* 检查是否以“/”结束,如果是以“/”结尾,返回空字符串,并报错 */
  1289. std::regex reg2(R"([.]*/$)");
  1290. if(std::regex_match(dirTmp, reg2))
  1291. {
  1292. LOG_ERROR("File path is not correct, end with '/'");
  1293. return std::string();
  1294. }
  1295. /* 检查是否以“/”开头 */
  1296. std::regex reg(R"(^/[.]*)");
  1297. if(!std::regex_match(dirTmp, reg))
  1298. {
  1299. dirTmp = "/" + dirTmp;
  1300. }
  1301. /* 如果有重复的“/”,替换成一个 “/” */
  1302. std::regex reg1(R"(//)");
  1303. dirTmp = std::regex_replace(dirTmp, reg1, "/");
  1304. return dirTmp;
  1305. }
  1306. /**
  1307. * @brief 检查本地文件夹是否存在,不存在则创建
  1308. * 这里默认传入的是文件夹路径,不是文件路径,如果最后有‘/’,会自动去掉
  1309. *
  1310. * @param localDir 文件夹路径
  1311. * @return true
  1312. * @return false
  1313. */
  1314. bool CurlFtp::checkLocalDir(const std::string& localDir)
  1315. {
  1316. /* 去掉最后的‘/’ */
  1317. std::regex reg(R"([.]*/$)");
  1318. std::string localDirTmp = std::regex_replace(localDir, reg, "");
  1319. /* 检查文件夹是否存在 */
  1320. // #if (__cplusplus >= 201703L)
  1321. // if(std::filesystem::exists(localDirTmp))
  1322. // #else
  1323. if(QDir(localDirTmp.c_str()).exists())
  1324. // #endif /* (__cplusplus >= 201703L) */
  1325. {
  1326. return true;
  1327. }
  1328. /* 创建文件夹 */
  1329. // #if (__cplusplus >= 201703L)
  1330. // if(!std::filesystem::create_directories(localDirTmp))
  1331. // #else
  1332. if(!QDir().mkpath(localDirTmp.c_str()))
  1333. // #endif /* (__cplusplus >= 201703L) */
  1334. {
  1335. LOG_ERROR("Failed to create local dir: " << localDirTmp);
  1336. return false;
  1337. }
  1338. return true;
  1339. }
  1340. /* 检查本地文件夹是否存在,不会创建 */
  1341. bool CurlFtp::checkLocalDirExist(const std::string& localDir)
  1342. {
  1343. /* 去掉最后的‘/’ */
  1344. std::regex reg(R"([.]*/$)");
  1345. std::string localDirTmp = std::regex_replace(localDir, reg, "");
  1346. /* 检查文件夹是否存在 */
  1347. bool result = false;
  1348. // #if (__cplusplus >= 201703L)
  1349. // result = std::filesystem::exists(localDirTmp);
  1350. // #else
  1351. result = QDir(localDirTmp.c_str()).exists();
  1352. // #endif /* (__cplusplus >= 201703L) */
  1353. return result;
  1354. }
  1355. /* 检查本地文件是否存在 */
  1356. bool CurlFtp::checkLocalFileExist(const std::string& localFile)
  1357. {
  1358. /* 去掉最后的‘/’ */
  1359. // std::regex reg(R"([.]*/$)");
  1360. std::string localDirTmp = trimTrailingSlash(localFile);
  1361. /* 检查文件是否存在 */
  1362. bool result = false;
  1363. // #if (__cplusplus >= 201703L)
  1364. // result = std::filesystem::exists(localDirTmp);
  1365. // #else
  1366. result = QFile(localDirTmp.c_str()).exists();
  1367. // #endif /* (__cplusplus >= 201703L) */
  1368. return result;
  1369. }
  1370. /* 执行curl,添加重试机制 */
  1371. bool CurlFtp::performCurl(CURL* curl)
  1372. {
  1373. int retry = 3;
  1374. while(retry > 0)
  1375. {
  1376. CURLcode res = curl_easy_perform(curl);
  1377. if(res == CURLE_OK)
  1378. {
  1379. return true;
  1380. }
  1381. else if (res == CURLE_LOGIN_DENIED)
  1382. {
  1383. LOG_ERROR("Login failed, error code: " << (int)res << ", " << curl_easy_strerror(res));
  1384. /* 设置用户名和密码 */
  1385. curl_easy_setopt(curl, CURLOPT_USERNAME, m_username.c_str());
  1386. curl_easy_setopt(curl, CURLOPT_PASSWORD, m_password.c_str());
  1387. }
  1388. else if(res == CURLE_REMOTE_FILE_NOT_FOUND)
  1389. {
  1390. LOG_WARN("Remote file or directory not found, error code: " << (int)res << ", " << curl_easy_strerror(res));
  1391. return true;
  1392. } else
  1393. {
  1394. LOG_ERROR("Perform curl failed, error code: " << (int)res << ", " << curl_easy_strerror(res));
  1395. LOG_ERROR("Retry times: " << (4 - retry));
  1396. }
  1397. retry--;
  1398. }
  1399. return false;
  1400. }
  1401. /* 重置curl设置 */
  1402. bool CurlFtp::resetCurl(CURL* curl)
  1403. {
  1404. if(m_curl == nullptr)
  1405. {
  1406. m_curl = curl_easy_init();
  1407. if(m_curl == nullptr)
  1408. {
  1409. LOG_ERROR("curl init failed !");
  1410. return false;
  1411. }
  1412. }else {
  1413. curl_easy_reset(m_curl);
  1414. }
  1415. return true;
  1416. }
  1417. /* 设置sftp,如果是sftp就设置 */
  1418. bool CurlFtp::setSftp(CURL* curl)
  1419. {
  1420. /* 判断是否是SFTP */
  1421. if(m_isSftp)
  1422. {
  1423. /* 判断是否需要设置CA证书 */
  1424. if(m_isIgnoreSSLCert)
  1425. {
  1426. /* 忽略证书验证 */
  1427. curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0L);
  1428. /* 忽略主机名验证 */
  1429. curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0L);
  1430. } else
  1431. {
  1432. /* 设置CA证书 */
  1433. curl_easy_setopt(curl, CURLOPT_CAINFO, m_caCertFile.c_str());
  1434. }
  1435. }
  1436. return true;
  1437. }
  1438. /**
  1439. * @brief 检查FTP文件夹是否存在,注意,传入的文件夹最后一定要带/,否则会检查的是文件
  1440. * 现在检测方式和SFTP一致,都使用列出上一层目录的方式进行检测
  1441. *
  1442. * @param dir
  1443. * @return true
  1444. * @return false
  1445. */
  1446. bool CurlFtp::checkFtpDirExist(const std::string& dir)
  1447. {
  1448. /* 检查传入的文件夹 */
  1449. auto dirTmp = checkDirPath(dir);
  1450. // dirTmp = m_ftpUrl + dirTmp;
  1451. // if(!setCommonCurlOptions(m_curl, dirTmp, 10))
  1452. // {
  1453. // return false;
  1454. // }
  1455. // /* 获取文件夹是否存在,不需要接收文件 */
  1456. // curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1457. // // curl_easy_setopt(m_curl, CURLOPT_HEADER, 1L);
  1458. // /* 启用持久连接 */
  1459. // // curl_easy_setopt(m_curl, CURLOPT_TCP_KEEPALIVE, 1L);
  1460. // /* 这里只需要执行一次 */
  1461. // CURLcode res = curl_easy_perform(m_curl);
  1462. // bool result = true;
  1463. // if(res == CURLE_REMOTE_FILE_NOT_FOUND)
  1464. // {
  1465. // result = false;
  1466. // }
  1467. // else if(res == CURLE_OK)
  1468. // {
  1469. // result = true;
  1470. // } else
  1471. // {
  1472. // LOG_ERROR("Check remote dir error, error code: " << (int)res << ", " << curl_easy_strerror(res));
  1473. // result = false;
  1474. // }
  1475. // // LOG_DEBUG("Check remote dir: {}, res: {}", dir, (int)res);
  1476. /* 获取文件夹 */
  1477. std::string parentDir = QFileInfo(QString::fromStdString(dir)).path().toStdString();
  1478. std::vector<CF_FileInfo> vecDir;
  1479. bool ret = listByWildcard(m_curl, parentDir, vecDir);
  1480. if(!ret)
  1481. {
  1482. LOG_ERROR("Failed to check ftp dir: " << dir);
  1483. return false;
  1484. }
  1485. /* 取出本层文件夹名称 */
  1486. std::string dirName = QFileInfo(QString::fromStdString(dir)).fileName().toStdString();
  1487. /* 判断是否存在 */
  1488. bool result = false;
  1489. for(const auto& fi : vecDir)
  1490. {
  1491. if(fi.name == dirName && fi.type == CF_FileType::DIR)
  1492. {
  1493. result = true;
  1494. break;
  1495. }
  1496. }
  1497. return result;
  1498. }
  1499. /* 检查SFTP文件夹是否存在,这里通过列出上一层的文件夹中的内容,然后进行对比判断的 */
  1500. // bool CurlFtp::checkSftpDirExist(const std::string& dir)
  1501. // {
  1502. // /* 取出上一层文件夹路径 */
  1503. // std::string parentDir = QFileInfo(QString::fromStdString(dir)).path().toStdString();
  1504. // std::vector<std::string> vecDir;
  1505. // bool ret = getDirList(parentDir, vecDir);
  1506. // if(!ret)
  1507. // {
  1508. // LOG_ERROR("Failed to check sftp dir: " << dir);
  1509. // return false;
  1510. // }
  1511. // /* 取出本层文件夹名称 */
  1512. // std::string dirName = QFileInfo(QString::fromStdString(dir)).fileName().toStdString();
  1513. // /* 判断是否存在 */
  1514. // bool result = false;
  1515. // for(const std::string& str : vecDir)
  1516. // {
  1517. // if(str == dirName)
  1518. // {
  1519. // result = true;
  1520. // break;
  1521. // }
  1522. // }
  1523. // return result;
  1524. // }
  1525. /* 检查FTP/SFTP文件是否存在,使用通配符获取文件列表匹配 */
  1526. bool CurlFtp::checkFtpFileExist(const std::string& file)
  1527. {
  1528. /* 判断文件字符是否符合规范 */
  1529. auto fileTmp = checkFilePath(file);
  1530. if(fileTmp.empty())
  1531. {
  1532. LOG_ERROR("File path is not correct: " << file);
  1533. return false;
  1534. }
  1535. /* 取出上一层文件夹路径 */
  1536. std::string parentDir = QFileInfo(QString::fromStdString(file)).path().toStdString();
  1537. std::vector<CF_FileInfo> vecFiles;
  1538. bool ret = listByWildcard(m_curl, parentDir, vecFiles);
  1539. if(!ret)
  1540. {
  1541. LOG_ERROR("Failed to check ftp file: " << file);
  1542. return false;
  1543. }
  1544. /* 取出本层文件名称 */
  1545. std::string fileName = QFileInfo(QString::fromStdString(file)).fileName().toStdString();
  1546. /* 判断是否存在 */
  1547. bool result = false;
  1548. for(const auto& fi : vecFiles)
  1549. {
  1550. if(fi.name == fileName && fi.type != CF_FileType::DIR)
  1551. {
  1552. result = true;
  1553. break;
  1554. }
  1555. }
  1556. return result;
  1557. }
  1558. /* 进入一个路径 */
  1559. bool CurlFtp::changeToDir(const std::string& dir)
  1560. {
  1561. if(m_ftpUrl.empty())
  1562. {
  1563. LOG_ERROR("ftpUrl is empty");
  1564. return false;
  1565. }
  1566. // 规范化目录,确保以'/'结尾
  1567. std::string dirWithSlash = checkDirPath(dir);
  1568. std::string url = m_ftpUrl + dirWithSlash;
  1569. // 设置到该目录并发送一个不传输实体的请求,相当于验证可进入
  1570. if(!setCommonCurlOptions(m_curl, url, 10))
  1571. {
  1572. return false;
  1573. }
  1574. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1575. LOG_DEBUG("Change to remote dir: " << dirWithSlash);
  1576. return performCurl(m_curl);
  1577. }
  1578. /* 删除一个文件,相对路径,调用这个函数,需要先调用上面那个函数进入路径 */
  1579. bool CurlFtp::deleteFileRelative(const std::string& remoteFile)
  1580. {
  1581. // 相对删除:要求已通过 changeToDir() 进入父目录
  1582. // 仅接受基名,不允许包含'/',且不允许以'/'结尾
  1583. if(remoteFile.empty())
  1584. {
  1585. LOG_ERROR("Delete relative file name is empty");
  1586. return false;
  1587. }
  1588. // 不允许包含路径分隔符
  1589. if(remoteFile.find('/') != std::string::npos)
  1590. {
  1591. LOG_ERROR("DeleteFileRelative only accepts basename without '/' : " << remoteFile);
  1592. return false;
  1593. }
  1594. // 当前 m_curl 已经被 changeToDir() 设置到父目录 URL
  1595. // 直接下发 DELE/rm 命令
  1596. struct curl_slist *headerlist = nullptr;
  1597. std::string deleteCmd;
  1598. if(m_isSftp)
  1599. {
  1600. deleteCmd = "rm " + remoteFile; // sftp 使用 rm
  1601. }
  1602. else
  1603. {
  1604. deleteCmd = "DELE " + remoteFile; // ftp 使用 DELE
  1605. }
  1606. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  1607. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  1608. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1609. LOG_DEBUG("Delete relative file: " << remoteFile);
  1610. bool ret = performCurl(m_curl);
  1611. curl_slist_free_all(headerlist);
  1612. return ret;
  1613. }
  1614. /* 删除一个文件夹,相对路径,调用这个函数,需要先调用上面那个函数进入路径 */
  1615. bool CurlFtp::deleteDirectoryRelative(const std::string& ftpDir)
  1616. {
  1617. // 相对删除:要求已通过 changeToDir() 进入父目录
  1618. // 仅接受基名,不允许包含'/',且不允许以'/'结尾
  1619. if(ftpDir.empty())
  1620. {
  1621. LOG_ERROR("Delete relative dir name is empty");
  1622. return false;
  1623. }
  1624. // 不允许包含路径分隔符
  1625. if(ftpDir.find('/') != std::string::npos)
  1626. {
  1627. LOG_ERROR("DeleteDirectoryRelative only accepts basename without '/' : " << ftpDir);
  1628. return false;
  1629. }
  1630. // 当前 m_curl 已经被 changeToDir() 设置到父目录 URL
  1631. // 直接下发 RMD/rmdir 命令
  1632. struct curl_slist *headerlist = nullptr;
  1633. std::string deleteCmd;
  1634. if(m_isSftp)
  1635. {
  1636. deleteCmd = "rmdir " + ftpDir; // sftp 使用 rmdir
  1637. }
  1638. else
  1639. {
  1640. deleteCmd = "RMD " + ftpDir; // ftp 使用 RMD
  1641. }
  1642. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  1643. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  1644. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1645. LOG_DEBUG("Delete relative directory: " << ftpDir);
  1646. bool ret = performCurl(m_curl);
  1647. curl_slist_free_all(headerlist);
  1648. return ret;
  1649. }
  1650. /**
  1651. * @brief 创建FTP文件夹,只能创建一层文件夹
  1652. *
  1653. * @param ftpDir 文件夹路径
  1654. * @return true 文件夹创建成功或者文件夹存在
  1655. * @return false
  1656. */
  1657. bool CurlFtp::createOneDirectory(const std::string& ftpDir)
  1658. {
  1659. if(m_ftpUrl.empty())
  1660. {
  1661. LOG_ERROR("ftpUrl is empty");
  1662. return false;
  1663. }
  1664. /* 先检查FTP文件夹是否存在,如果存在直接返回true */
  1665. if(existsDir(ftpDir))
  1666. {
  1667. return true;
  1668. }
  1669. setCommonCurlOptions(m_curl, m_ftpUrl, 30);
  1670. /* 检查传入的文件夹格式 */
  1671. auto dirTmp = checkDirPath(ftpDir);
  1672. /* 去掉末尾的“/” */
  1673. auto dirNoSlash = trimTrailingSlash(dirTmp);
  1674. /* 创建FTP头信息 */
  1675. struct curl_slist *headerlist = NULL;
  1676. std::string mkdir;
  1677. if(m_isSftp)
  1678. {
  1679. mkdir = "mkdir " + dirNoSlash;
  1680. }else {
  1681. mkdir = "MKD " + dirNoSlash;
  1682. }
  1683. headerlist = curl_slist_append(headerlist, mkdir.c_str());
  1684. /* 设置FTP命令行选项 */
  1685. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  1686. /* 不包含实体 */
  1687. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1688. LOG_DEBUG("Create remote dir: " << dirTmp);
  1689. // CURLcode res = curl_easy_perform(curl);
  1690. bool ret = performCurl(m_curl);
  1691. if(!ret)
  1692. {
  1693. LOG_ERROR("Failed to create remote Dir");
  1694. }
  1695. // curl_easy_cleanup(curl);
  1696. curl_slist_free_all(headerlist);
  1697. return ret;
  1698. }