CurlFtp.cpp 56 KB

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001011021031041051061071081091101111121131141151161171181191201211221231241251261271281291301311321331341351361371381391401411421431441451461471481491501511521531541551561571581591601611621631641651661671681691701711721731741751761771781791801811821831841851861871881891901911921931941951961971981992002012022032042052062072082092102112122132142152162172182192202212222232242252262272282292302312322332342352362372382392402412422432442452462472482492502512522532542552562572582592602612622632642652662672682692702712722732742752762772782792802812822832842852862872882892902912922932942952962972982993003013023033043053063073083093103113123133143153163173183193203213223233243253263273283293303313323333343353363373383393403413423433443453463473483493503513523533543553563573583593603613623633643653663673683693703713723733743753763773783793803813823833843853863873883893903913923933943953963973983994004014024034044054064074084094104114124134144154164174184194204214224234244254264274284294304314324334344354364374384394404414424434444454464474484494504514524534544554564574584594604614624634644654664674684694704714724734744754764774784794804814824834844854864874884894904914924934944954964974984995005015025035045055065075085095105115125135145155165175185195205215225235245255265275285295305315325335345355365375385395405415425435445455465475485495505515525535545555565575585595605615625635645655665675685695705715725735745755765775785795805815825835845855865875885895905915925935945955965975985996006016026036046056066076086096106116126136146156166176186196206216226236246256266276286296306316326336346356366376386396406416426436446456466476486496506516526536546556566576586596606616626636646656666676686696706716726736746756766776786796806816826836846856866876886896906916926936946956966976986997007017027037047057067077087097107117127137147157167177187197207217227237247257267277287297307317327337347357367377387397407417427437447457467477487497507517527537547557567577587597607617627637647657667677687697707717727737747757767777787797807817827837847857867877887897907917927937947957967977987998008018028038048058068078088098108118128138148158168178188198208218228238248258268278288298308318328338348358368378388398408418428438448458468478488498508518528538548558568578588598608618628638648658668678688698708718728738748758768778788798808818828838848858868878888898908918928938948958968978988999009019029039049059069079089099109119129139149159169179189199209219229239249259269279289299309319329339349359369379389399409419429439449459469479489499509519529539549559569579589599609619629639649659669679689699709719729739749759769779789799809819829839849859869879889899909919929939949959969979989991000100110021003100410051006100710081009101010111012101310141015101610171018101910201021102210231024102510261027102810291030103110321033103410351036103710381039104010411042104310441045104610471048104910501051105210531054105510561057105810591060106110621063106410651066106710681069107010711072107310741075107610771078107910801081108210831084108510861087108810891090109110921093109410951096109710981099110011011102110311041105110611071108110911101111111211131114111511161117111811191120112111221123112411251126112711281129113011311132113311341135113611371138113911401141114211431144114511461147114811491150115111521153115411551156115711581159116011611162116311641165116611671168116911701171117211731174117511761177117811791180118111821183118411851186118711881189119011911192119311941195119611971198119912001201120212031204120512061207120812091210121112121213121412151216121712181219122012211222122312241225122612271228122912301231123212331234123512361237123812391240124112421243124412451246124712481249125012511252125312541255125612571258125912601261126212631264126512661267126812691270127112721273127412751276127712781279128012811282128312841285128612871288128912901291129212931294129512961297129812991300130113021303130413051306130713081309131013111312131313141315131613171318131913201321132213231324132513261327132813291330133113321333133413351336133713381339134013411342134313441345134613471348134913501351135213531354135513561357135813591360136113621363136413651366136713681369137013711372137313741375137613771378137913801381138213831384138513861387138813891390139113921393139413951396139713981399140014011402140314041405140614071408140914101411141214131414141514161417141814191420142114221423142414251426142714281429143014311432143314341435143614371438143914401441144214431444144514461447144814491450145114521453145414551456145714581459146014611462146314641465146614671468146914701471147214731474147514761477147814791480148114821483148414851486148714881489149014911492149314941495149614971498149915001501150215031504150515061507150815091510151115121513151415151516151715181519152015211522152315241525152615271528152915301531153215331534153515361537153815391540154115421543154415451546154715481549155015511552155315541555155615571558155915601561156215631564156515661567156815691570157115721573157415751576157715781579158015811582158315841585158615871588158915901591159215931594159515961597159815991600160116021603160416051606160716081609161016111612161316141615161616171618161916201621162216231624162516261627162816291630163116321633163416351636163716381639164016411642164316441645164616471648164916501651165216531654165516561657165816591660166116621663166416651666166716681669167016711672167316741675167616771678167916801681168216831684168516861687168816891690169116921693169416951696169716981699170017011702170317041705170617071708170917101711171217131714171517161717171817191720172117221723172417251726172717281729173017311732173317341735173617371738173917401741174217431744174517461747174817491750175117521753175417551756175717581759176017611762176317641765176617671768176917701771177217731774177517761777177817791780178117821783178417851786178717881789179017911792179317941795179617971798179918001801180218031804180518061807180818091810181118121813181418151816181718181819182018211822182318241825182618271828182918301831183218331834183518361837183818391840184118421843184418451846184718481849185018511852185318541855185618571858185918601861186218631864186518661867186818691870187118721873187418751876187718781879188018811882188318841885188618871888
  1. #include "CurlFtp.h"
  2. #include <regex>
  3. #include <iosfwd>
  4. #include <fstream>
  5. #include "stdlog.h"
  6. #if (__cplusplus >= 201703L)
  7. #include <filesystem>
  8. #else
  9. #endif /* (__cplusplus >= 201703L) */
  10. #include <QDir>
  11. #include <QFileInfo>
  12. #if defined(_WIN32)
  13. #include <QDir>
  14. #include <QFileInfo>
  15. #endif /* _WIN32 */
  16. /* ==================================================================================
  17. * *********************************** 全局变量 *************************************
  18. * ==================================================================================
  19. */
  20. /* 是否有初始化实例,主要用于静态函数调用curl_global_cleanup()函数前判断,有实例就不调用 */
  21. static bool hasInstace = false;
  22. /* 记录上传或者下载的时间,thread_local是C++11加入的关键字,表示在每个线程中都有自己的lastTime */
  23. static thread_local std::chrono::system_clock::time_point lastTime;
  24. static thread_local uint64_t dCount;
  25. static thread_local uint64_t uCount;
  26. static thread_local uint64_t dSpeed; /* 保存最后的下载速度 */
  27. static thread_local uint64_t uSpeed; /* 保存最后的上传速度 */
  28. /* ==================================================================================
  29. * *********************************** 全局函数 *************************************
  30. * ==================================================================================
  31. */
  32. /**
  33. * @brief 写入回调函数
  34. *
  35. * @param contents curl的数据缓冲区
  36. * @param size 数据大小,单位是size_t
  37. * @param nmemb size_t的单位字节数
  38. * @param userStr 用户提供的字符串,格式可以是任意的
  39. * @return size_t 总共获取到的数据大小,单位是字节
  40. */
  41. static size_t writeStringCallback(void *contents, size_t size, size_t nmemb, std::string *userStr)
  42. {
  43. // size_t newLength = size * nmemb;
  44. // size_t oldLength = userStr->size();
  45. // try
  46. // {
  47. // userStr->resize(oldLength + newLength);
  48. // }
  49. // catch(std::bad_alloc &e)
  50. // {
  51. // //handle memory problem
  52. // return 0;
  53. // }
  54. // std::copy_n((char*)contents, newLength, userStr->begin() + oldLength);
  55. userStr->append((char*)contents, size * nmemb);
  56. return size * nmemb;
  57. }
  58. /**
  59. * @brief 写入回调函数,listFiles需要调用
  60. *
  61. * @param buffer curl下载回来的数据
  62. * @param size 数据大小
  63. * @param nmemb 数据单位字节数
  64. * @param userp 用户传进来的容器
  65. * @return int 返回拷贝的字节数
  66. */
  67. static int writeStringListCallback(void* buffer, size_t size, size_t nmemb, void* userp)
  68. {
  69. std::vector<std::string>* fileList = static_cast<std::vector<std::string>*>(userp);
  70. std::string line(static_cast<char*>(buffer), size * nmemb);
  71. // printf("line = %s\n", line.c_str());
  72. fileList->push_back(line);
  73. return size * nmemb;
  74. }
  75. /**
  76. * @brief 写入文件回调函数
  77. *
  78. * @param contents 读取到的数据内容
  79. * @param size 数据大小
  80. * @param nmemb 数据单位
  81. * @param pFile 文件指针
  82. * @return size_t 实际读取的大小
  83. */
  84. static size_t writeFileCallBack(void* contents, size_t size, size_t nmemb, std::ostream* pFile)
  85. {
  86. pFile->write(reinterpret_cast<char*>(contents), size * nmemb);
  87. return size * nmemb;
  88. }
  89. /**
  90. * @brief 写入文件回调函数,使用Qt的QFile写文件,解决Windows下中文路径的问题
  91. *
  92. * @param contents
  93. * @param size
  94. * @param nmemb
  95. * @param pFile
  96. * @return size_t
  97. */
  98. static size_t writeFileCallBack_QT(void* contents, size_t size, size_t nmemb, QFile* pFile)
  99. {
  100. qint64 written = pFile->write(reinterpret_cast<char*>(contents), size * nmemb);
  101. if (written == -1) {
  102. // Handle write error
  103. return 0;
  104. }
  105. return static_cast<size_t>(written);
  106. }
  107. /**
  108. * @brief 写入数据到vector中
  109. *
  110. * @param contents
  111. * @param size
  112. * @param nmemb
  113. * @param vecData
  114. * @return size_t
  115. */
  116. static size_t writeDataCallBack(void* contents, size_t size, size_t nmemb, std::vector<char>* vecData)
  117. {
  118. size_t copySize = size * nmemb;
  119. vecData->insert(vecData->end(), (char*)contents, (char*)contents + copySize);
  120. return copySize;
  121. }
  122. /**
  123. * @brief 读取文件回调函数
  124. *
  125. * @param contents 下载到的数据内容
  126. * @param size 数据大小
  127. * @param nmemb 数据单位
  128. * @param pFile 文件指针
  129. * @return size_t 写入的大小
  130. */
  131. static size_t readFileCallBack(void* contents, size_t size, size_t nmemb, std::istream* pFile)
  132. {
  133. pFile->read(reinterpret_cast<char*>(contents), size * nmemb);
  134. /* 获取读取到的字节数,可能读取到文件末尾,所以不能直接使用传入的字节数 */
  135. size_t readSize = pFile->gcount();
  136. return readSize;
  137. }
  138. /**
  139. * @brief
  140. *
  141. * @param contents ftp需要的目标内容
  142. * @param size 拷贝的数据大小
  143. * @param nmemb 单个数据的字节数
  144. * @param pData 源指针
  145. * @return size_t 已拷贝的数据大小
  146. */
  147. static size_t readDataCallBack(void* contents, size_t size, size_t nmemb, CF_ArrayInfo* pData)
  148. {
  149. if(pData == nullptr)
  150. {
  151. return 0;
  152. }
  153. /* 判断是否还够本次拷贝的字节数 */
  154. size_t copySize = size * nmemb;
  155. if(pData->size - pData->pos < copySize)
  156. {
  157. copySize = pData->size - pData->pos;
  158. }
  159. memcpy(contents, pData->data + pData->pos, copySize);
  160. pData->pos += copySize;
  161. return copySize;
  162. }
  163. /**
  164. * @brief 计算速度
  165. *
  166. * @param speed
  167. * @param retSpeed
  168. * @param unit
  169. */
  170. void computeSpeed(uint64_t speed, double& retSpeed, std::string& unit)
  171. {
  172. double KB = speed / 1024.0;
  173. double MB = KB / 1024.0;
  174. double GB = MB / 1024.0;
  175. if(GB > 1)
  176. {
  177. unit = "GB/S";
  178. retSpeed = GB;
  179. }
  180. else if(MB > 1)
  181. {
  182. unit = "MB/S";
  183. retSpeed = MB;
  184. }
  185. else if(KB > 1)
  186. {
  187. unit = "KB/S";
  188. retSpeed = KB;
  189. }
  190. else {
  191. unit = "B/S";
  192. retSpeed = speed;
  193. }
  194. }
  195. /**
  196. * @brief 打印进度条
  197. *
  198. * @param type 上传还是下载类型
  199. * @param total 总大小,单位字节
  200. * @param now 现在的进度,单位字节
  201. */
  202. void printProgress(CF_TransType type, curl_off_t total, curl_off_t now)
  203. {
  204. std::string transType;
  205. uint64_t count = 0;
  206. if(type == CF_TransType::DOWNLOAD)
  207. {
  208. transType = "Download";
  209. count = now - dCount;
  210. dCount = now;
  211. }
  212. else if (type == CF_TransType::UPLOAD)
  213. {
  214. transType = "Upload";
  215. count = now - uCount;
  216. uCount = now;
  217. }
  218. /* 计算进度,百分比 */
  219. double percent = (double)now / (double)total * 100;
  220. /* 计算单位 */
  221. double tKB = total / 1024.0;
  222. double tMB = tKB / 1024.0;
  223. double tGB = tMB / 1024.0;
  224. /* 计算速度 */
  225. double speed = 0.0;
  226. std::string unit;
  227. computeSpeed(count, speed, unit);
  228. // if(speed == 0.0)
  229. // {
  230. // if(CF_TransType::DOWNLOAD == type)
  231. // {
  232. // speed = dSpeed;
  233. // }else if (CF_TransType::UPLOAD == type) {
  234. // speed = uSpeed;
  235. // }
  236. // }else {
  237. // if(CF_TransType::DOWNLOAD == type)
  238. // {
  239. // dSpeed = speed;
  240. // }else if (CF_TransType::UPLOAD == type) {
  241. // uSpeed = speed;
  242. // }
  243. // }
  244. if(tGB > 1)
  245. {
  246. double dGB = now / 1024.0 / 1024.0 / 1024.0;
  247. double speed = count / 1024.0 / 1024.0;
  248. printf("%s Total / now : %.2fGB / %.2fGB, %.2f%%, Speed:%.2f %s\r", transType.c_str(), tGB, dGB, percent, speed, unit.c_str());
  249. // printf("Download Total / now : {:.2f}GB / {:.2f}GB, {:.2f}%\r", tGB, dGB, percent);
  250. }
  251. else if(tMB > 1)
  252. {
  253. double dMB = now / 1024.0 / 1024.0;
  254. printf("%s Total / now : %.2fMB / %.2fMB, %.2f%%, Speed:%.2f %s\r", transType.c_str(), tMB, dMB, percent, speed, unit.c_str());
  255. // printf("Download Total / now : {:.2f}MB / {:.2f}MB, {:.2f}%\r", tMB, dMB, percent);
  256. }
  257. else if(tKB > 1)
  258. {
  259. double dKB = now / 1024.0;
  260. printf("%s Total / now : %.2fKB / %.2fKB, %.2f%%, Speed:%.2f %s\r", transType.c_str(), tKB, dKB, percent, speed, unit.c_str());
  261. }
  262. else
  263. {
  264. printf("%s Total / now : %lldB / %lldB, %.2f%%, Speed:%.2f %s\r", transType.c_str(), static_cast<long long>(total), static_cast<long long>(now), percent, speed, unit.c_str());
  265. }
  266. fflush(stdout);
  267. }
  268. /**
  269. * @brief 上传和下载进度回调函数,这个函数kennel会被多次调用,即使是没有在下载的时候,因此需要判断传入的数据是否是0
  270. * 必须将 CURLOPT_NOPROGRESS 设为 0 才能真正调用该函数。
  271. *
  272. * @param clientp 通过CURLOPT_XFERINFODATA 设置的指针,libcurl 不会使用它,只会将其从应用程序传递给回调函数。
  273. * 可以通过这个指针将下载的进度传递给应用程序
  274. * @param dltotal 下载的总字节数,上传的时候这个为0
  275. * @param dlnow 已经下载的总字节数
  276. * @param ultotal 需要上传的总字节数,下载的时候这个为0
  277. * @param ulnow 已经上传的总字节数
  278. * @return int 返回0表示正常,非0表示异常
  279. */
  280. static int progress_callback(void *clientp,
  281. curl_off_t dltotal,
  282. curl_off_t dlnow,
  283. curl_off_t ultotal,
  284. curl_off_t ulnow)
  285. {
  286. // LOG_DEBUG("dTotal: {}, dNow: {}, uTotal: {}, uNow: {}", dltotal, dlnow, ultotal, ulnow);
  287. if(dltotal == 0 && ultotal == 0)
  288. {
  289. dCount = 0;
  290. uCount = 0;
  291. dSpeed = 0;
  292. uSpeed = 0;
  293. return 0;
  294. }
  295. std::chrono::system_clock::time_point nowTime = std::chrono::system_clock::now();
  296. auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(nowTime - lastTime).count();
  297. // LOG_DEBUG("duration:{}", duration);
  298. if((duration < 1000) && ((dltotal != dlnow) || (ultotal != ulnow)))
  299. {
  300. return 0;
  301. }
  302. lastTime = nowTime;
  303. /* 正在下载 */
  304. if(dltotal > 0)
  305. {
  306. printProgress(CF_TransType::DOWNLOAD, dltotal, dlnow);
  307. // printf("Download Total / now : {} / {}, {:.2f}%\r", dltotal, dlnow, downloadPercent);
  308. }
  309. /* 正在上传 */
  310. else if(ultotal > 0)
  311. {
  312. printProgress(CF_TransType::UPLOAD, ultotal, ulnow);
  313. // double uploadPercent = (double)ulnow / (double)ultotal * 100;
  314. // printf("Upload Total / now : {} / {}, {:.2f}%\r", ultotal, ulnow, uploadPercent);
  315. }
  316. return 0;
  317. }
  318. /* ======================== 通配符列表示例所需回调 ======================== */
  319. /* 分块开始回调:收集文件信息并跳过实际传输 */
  320. static long chunk_bgn_cb(const void* transfer_info, void* ptr, int /*remains*/)
  321. {
  322. const struct curl_fileinfo* finfo = static_cast<const struct curl_fileinfo*>(transfer_info);
  323. if(finfo == nullptr || ptr == nullptr)
  324. {
  325. return CURL_CHUNK_BGN_FUNC_OK;
  326. }
  327. std::vector<CF_FileInfo>* out = static_cast<std::vector<CF_FileInfo>*>(ptr);
  328. // 跳过 "." 和 ".." 等无效名称
  329. if(finfo->filename && (std::string(finfo->filename) == "." || std::string(finfo->filename) == ".."))
  330. {
  331. return CURL_CHUNK_BGN_FUNC_SKIP;
  332. }
  333. CF_FileInfo fi;
  334. if(finfo->filetype == CURLFILETYPE_DIRECTORY)
  335. {
  336. fi.type = CF_FileType::DIR;
  337. }
  338. else if(finfo->filetype == CURLFILETYPE_FILE)
  339. {
  340. fi.type = CF_FileType::FILE;
  341. }
  342. else
  343. {
  344. // 其他类型(链接、设备等)不处理
  345. return CURL_CHUNK_BGN_FUNC_SKIP;
  346. }
  347. fi.name = (finfo->filename ? std::string(finfo->filename) : std::string());
  348. fi.size = static_cast<uint64_t>(finfo->size);
  349. out->push_back(std::move(fi));
  350. // 仅做枚举,不实际下载数据
  351. return CURL_CHUNK_BGN_FUNC_SKIP;
  352. }
  353. /* 分块结束回调:无特别处理 */
  354. static long chunk_end_cb(void* /*ptr*/)
  355. {
  356. return CURL_CHUNK_END_FUNC_OK;
  357. }
  358. /* 使用Windows API进行编码转换 */
  359. #if defined(_WIN32)
  360. static char* GBToUTF8(const char* gb2312)
  361. {
  362. int len = MultiByteToWideChar(CP_ACP, 0, gb2312, -1, NULL, 0);
  363. wchar_t* wstr = new wchar_t[len+1];
  364. memset(wstr, 0, len+1);
  365. MultiByteToWideChar(CP_ACP, 0, gb2312, -1, wstr, len);
  366. len = WideCharToMultiByte(CP_UTF8, 0, wstr, -1, NULL, 0, NULL, NULL);
  367. char* str = new char[len+1];
  368. memset(str, 0, len+1);
  369. WideCharToMultiByte(CP_UTF8, 0, wstr, -1, str, len, NULL, NULL);
  370. if(wstr) delete[] wstr;
  371. return str;
  372. }
  373. #endif /* _WIN32 */
  374. /* 正则表达式,匹配多个空格 */
  375. const std::regex parseRegSpace(R"(( )+)");
  376. /* 匹配以非空格开头的字符,空格隔开,中间任意字符,空格隔开,非空格组成的结尾
  377. * (文件类型) ... (文件大小,$5) ... (文件名)
  378. */
  379. const std::regex parseReg1(R"(^([^ ]+) (\d*) (\w*) (\w*) (\d*) (.*) ([^ ]+)$)");
  380. // LOG_INFO("\n-------------------\n");
  381. /* 匹配换行符,分割每一行 */
  382. const std::regex parseReg2(R"(\n)");
  383. /* 匹配文件夹 */
  384. const std::regex parseReg3(R"(^d.*)");
  385. /* 匹配文件 */
  386. const std::regex parseReg4(R"(^-.*$)");
  387. /**
  388. * @brief 解析字符串文件信息,如果FTP服务器规定好个编码,不需要进行转换
  389. *
  390. * @param strSrc 读取到的字符串
  391. * @param fileList 文件信息列表
  392. * @return true
  393. * @return false
  394. */
  395. static bool parseFileInfo(const std::string& strSrc, std::vector<CF_FileInfo>& fileInfo)
  396. {
  397. // SPDLOG_DEBUG("SRC FILE INFO:\n{}", strSrc);
  398. #if defined(_WIN32)
  399. // auto str1 = GBToUTF8(strSrc.c_str());
  400. std::string str2 = strSrc;
  401. #else
  402. std::string str2 = strSrc;
  403. #endif /* _WIN32 */
  404. // LOG_DEBUG("\n{}", str2);
  405. // /* 正则表达式,匹配多个空格 */
  406. // std::regex regSpace(R"(( )+)");
  407. // /* 匹配以非空格开头的字符,空格隔开,中间任意字符,空格隔开,非空格组成的结尾
  408. // * (文件类型) ... (文件大小,$5) ... (文件名)
  409. // */
  410. // std::regex reg1(R"(^([^ ]+) (\d*) (\w*) (\w*) (\d*) (.*) ([^ ]+)$)");
  411. // // LOG_INFO("\n-------------------\n");
  412. // /* 匹配换行符,分割每一行 */
  413. // std::regex reg2(R"(\n)");
  414. // /* 匹配文件夹 */
  415. // std::regex reg3(R"(^d.*)");
  416. // /* 匹配文件 */
  417. // std::regex reg4(R"(^-.*$)");
  418. try
  419. {
  420. /* -1 表示对正则表达式之前的子序列感兴趣
  421. * 0 表示对正则表达式本身感兴趣,输出的就是换行符 */
  422. std::sregex_token_iterator it2(str2.begin(), str2.end(), parseReg2, -1);
  423. /* 这里取出每一行 */
  424. for(; it2 != std::sregex_token_iterator(); ++it2)
  425. {
  426. /* 去掉多余的空格 */
  427. auto line = std::regex_replace(it2->str(), parseRegSpace, " ");
  428. // LOG_INFO("{}", line);
  429. CF_FileInfo fi;
  430. /* 取出文件类型 */
  431. std::string strFileType = std::regex_replace(line, parseReg1, "$1");
  432. if(std::regex_match(strFileType, parseReg3))
  433. {
  434. fi.type = CF_FileType::DIR;
  435. }else if (std::regex_match(strFileType, parseReg4))
  436. {
  437. fi.type = CF_FileType::FILE;
  438. }
  439. /* 取出文件大小 */
  440. std::string strFileSize = std::regex_replace(line, parseReg1, "$5");
  441. fi.size = std::stoull(strFileSize);
  442. /* 取出文件名 */
  443. std::string strFileName = std::regex_replace(line, parseReg1, "$7");
  444. fi.name = strFileName;
  445. /* 去掉本地目录和上一级目录 */
  446. if(strFileName == "." || strFileName == "..")
  447. {
  448. continue;
  449. }
  450. /* 加入队列 */
  451. fileInfo.push_back(fi);
  452. }
  453. }StdCatch
  454. return true;
  455. }
  456. /* 辅助:拆分绝对路径为 父目录(以/结尾) + 基名 */
  457. static void splitParentAndBasePath(const std::string& absPath, std::string& parentDir, std::string& fileName)
  458. {
  459. auto pos = absPath.find_last_of('/');
  460. if(pos == std::string::npos)
  461. {
  462. parentDir = "/";
  463. fileName = absPath;
  464. return;
  465. }
  466. parentDir = absPath.substr(0, pos + 1);
  467. fileName = absPath.substr(pos + 1);
  468. if(parentDir.empty()) parentDir = "/";
  469. }
  470. /* 去掉最后的“/” */
  471. std::string trimTrailingSlash(std::string s)
  472. {
  473. if (!s.empty() && s.back() == '/')
  474. s.pop_back();
  475. return s;
  476. }
  477. /* ==================================================================================
  478. * *********************************** 成员函数 *************************************
  479. * ================================================================================== */
  480. CurlFtp::CurlFtp()
  481. {
  482. /* 调用初始化函数,这个函数可以重复调用 */
  483. curl_global_init(CURL_GLOBAL_DEFAULT);
  484. /* 初始化curl */
  485. hasInstace = true;
  486. }
  487. CurlFtp::~CurlFtp()
  488. {
  489. /* 清理curl */
  490. curl_easy_cleanup(m_curl);
  491. curl_global_cleanup();
  492. hasInstace = false;
  493. }
  494. /* 设置用户名和密码 */
  495. bool CurlFtp::setUsernameAndPassword(const std::string& username, const std::string& password)
  496. {
  497. m_username = username;
  498. m_password = password;
  499. return true;
  500. }
  501. /* 设置IP和端口 */
  502. bool CurlFtp::setFtpIPAndPort(const std::string& IP, const int port)
  503. {
  504. /*先判断是否有ftp器前缀,通过正则表达式,取出IP地址和端口号,去掉前缀和后面的'/ */
  505. m_IP = IP;
  506. m_port = port;
  507. m_ftpUrl = "ftp://" + m_IP + ":" + std::to_string(m_port);
  508. LOG_INFO("Set ftpUrl = " << m_ftpUrl);
  509. m_isSftp = false;
  510. return true;
  511. }
  512. /* 设置SFTP的IP和端口 */
  513. bool CurlFtp::setSftpIPAndPort(const std::string& IP, const int port)
  514. {
  515. m_IP = IP;
  516. m_port = port;
  517. m_ftpUrl = "sftp://" + m_IP + ":" + std::to_string(m_port);
  518. LOG_INFO("Set sftpUrl = " << m_ftpUrl);
  519. m_isSftp = true;
  520. return true;
  521. }
  522. /* 设置SFTP密钥,仅对SFTP生效 */
  523. bool CurlFtp::setSftpPrivateKey(const std::string& privateKeyFile, const std::string& publicKeyFile, const std::string& passphrase)
  524. {
  525. m_sftpPrivateKeyFile = privateKeyFile;
  526. m_sftpPublicKeyFile = publicKeyFile;
  527. m_sftpPassphrase = passphrase;
  528. return true;
  529. }
  530. /* 设置是否启用CURL的调试信息 */
  531. void CurlFtp::enableCurlDebug(bool isPrint)
  532. {
  533. m_enableCurlDebug = isPrint;
  534. }
  535. /* 获取列表,包括文件和文件夹 */
  536. bool CurlFtp::getList(std::string dir, std::vector<CF_FileInfo>& fileInfoList)
  537. {
  538. if(m_IP.empty())
  539. {
  540. LOG_WARN("IP or port is empty");
  541. return false;
  542. }
  543. /* 获取文件信息 */
  544. listByWildcard(dir, fileInfoList);
  545. // curl_easy_cleanup(curl);
  546. return true;
  547. }
  548. /* 列出文件列表 */
  549. bool CurlFtp::getFileList(std::string dir, std::vector<std::string>& fileList)
  550. {
  551. if(m_IP.empty())
  552. {
  553. LOG_WARN("IP or port is empty");
  554. return false;
  555. }
  556. /* 检查dir,添加前缀“/” */
  557. auto dirTmp = checkDirPath(dir);
  558. std::vector<CF_FileInfo> listInfo;
  559. /* 获取文件信息 */
  560. listByWildcard(dirTmp, listInfo);
  561. for(const CF_FileInfo& fi : listInfo)
  562. {
  563. // LOG_INFO("type = {}, size = {}, name = {}", (int)fi.type, fi.size, fi.name);
  564. if(fi.type == CF_FileType::FILE)
  565. {
  566. fileList.push_back(fi.name);
  567. }
  568. }
  569. // curl_easy_cleanup(curl);
  570. return true;
  571. }
  572. /* 获取文件夹列表 */
  573. bool CurlFtp::getDirList(std::string dir, std::vector<std::string>& dirList)
  574. {
  575. if(m_IP.empty())
  576. {
  577. LOG_WARN("IP or port is empty");
  578. return false;
  579. }
  580. /* 检查dir,添加前缀“/” */
  581. auto dirTmp = checkDirPath(dir);
  582. std::vector<CF_FileInfo> listInfo;
  583. /* 获取文件信息 */
  584. listByWildcard(dirTmp, listInfo);
  585. for(const CF_FileInfo& fi : listInfo)
  586. {
  587. // LOG_INFO("type = {}, size = {}, name = {}", (int)fi.type, fi.size, fi.name);
  588. if(fi.type == CF_FileType::DIR)
  589. {
  590. dirList.push_back(fi.name);
  591. }
  592. }
  593. // curl_easy_cleanup(curl);
  594. return true;
  595. }
  596. /**
  597. * @brief 判断文件夹是否存在,FTP和SFTP判断方式不同
  598. * FTP使用curl检测判断,但是SFTP无论文件夹是否存在都会返回真,所以只能通过列出文件夹的方式判断
  599. *
  600. * @param dir
  601. * @return true
  602. * @return false
  603. */
  604. bool CurlFtp::existsDir(const std::string& dir)
  605. {
  606. LOG_DEBUG("Check remote dir:" << dir);
  607. if(m_ftpUrl.empty())
  608. {
  609. LOG_ERROR("ftpUrl is empty");
  610. return false;
  611. }
  612. if(dir == "/")
  613. {
  614. return true;
  615. }
  616. return checkFtpDirExist(dir);
  617. }
  618. /* 创建FTP文件夹,递归创建 */
  619. bool CurlFtp::createDirectory(const std::string& ftpDir)
  620. {
  621. /* 检查路径格式,并去掉第一个 / */
  622. std::string ftpDirTmp = checkDirPath(ftpDir);
  623. std::string ftpDir2 = ftpDirTmp.substr(1, ftpDirTmp.size() -1);
  624. /* 将文件夹分开,取出每一个文件夹名称 */
  625. std::vector<std::string> strList;
  626. std::regex reg(R"(/)");
  627. std::sregex_token_iterator it(ftpDir2.begin(), ftpDir2.end(), reg, -1);
  628. for( ; it != std::sregex_token_iterator(); ++it)
  629. {
  630. strList.push_back(it->str());
  631. }
  632. /* 将每一层拼接起来,逐层递归 */
  633. std::vector<std::string> dirList;
  634. for(const std::string& dir : strList)
  635. {
  636. std::string dirTmp = "/";
  637. if(!dirList.empty())
  638. {
  639. dirTmp = dirList.back();
  640. dirTmp += "/";
  641. }
  642. dirTmp += dir;
  643. dirList.push_back(dirTmp);
  644. }
  645. /* 逐层创建 */
  646. for(const std::string& dir : dirList)
  647. {
  648. // LOG_DEBUG("Create dir: {}", dir);
  649. if(!createOneDirectory(dir))
  650. {
  651. LOG_ERROR("Failed to create dir: " << dir);
  652. return false;
  653. }
  654. }
  655. return true;
  656. }
  657. /* 删除文件,文件后面不能带有“/”否则会报错
  658. 删除方式,先 CWD 到该文件目录,再执行 DELE 删除命令 */
  659. bool CurlFtp::deleteFile(const std::string& remoteFile)
  660. {
  661. if(m_ftpUrl.empty())
  662. {
  663. LOG_ERROR("ftpUrl is empty");
  664. return false;
  665. }
  666. /* 规范化文件路径(以/开头,且不以/结尾) */
  667. std::string filePath = checkFilePath(remoteFile);
  668. if(filePath.empty())
  669. {
  670. return false;
  671. }
  672. std::string deleteCmd;
  673. std::string ftpUrl;
  674. if(m_isSftp == false)
  675. {
  676. /* 切到父目录后再删除基名(兼容更多服务器) */
  677. // std::string parentDir, fileName;
  678. // splitParentAndBasePath(filePath, parentDir, fileName);
  679. // if(fileName.empty())
  680. // {
  681. // LOG_ERROR("Delete file base name is empty: " << filePath);
  682. // return false;
  683. // }
  684. // ftpUrl = m_ftpUrl + parentDir; // parentDir 以'/'结尾
  685. // deleteCmd = "DELE " + fileName; // ftp 使用 DELE
  686. ftpUrl = m_ftpUrl + "/";
  687. deleteCmd = "DELE " + filePath;
  688. }else
  689. {
  690. /* SFTP需要使用绝对路径删除 */
  691. ftpUrl = m_ftpUrl + "/";
  692. deleteCmd = "rm " + filePath;
  693. }
  694. if(!setCommonCurlOptions(ftpUrl, 10))
  695. {
  696. return false;
  697. }
  698. struct curl_slist *headerlist = nullptr;
  699. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  700. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  701. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  702. LOG_DEBUG("Delete remote file: " << filePath);
  703. bool ret = performCurl();
  704. curl_slist_free_all(headerlist);
  705. return ret;
  706. }
  707. /* 删除文件夹,递归删除 */
  708. bool CurlFtp::deleteDirectory(const std::string& ftpDir)
  709. {
  710. if(m_ftpUrl.empty())
  711. {
  712. LOG_ERROR("ftpUrl is empty");
  713. return false;
  714. }
  715. /* 规范化目录路径,并去掉末尾斜杠 */
  716. std::string dirWithSlash = checkDirPath(ftpDir);
  717. std::string dirNoSlash = trimTrailingSlash(dirWithSlash);
  718. if(dirNoSlash.empty() || dirNoSlash == "/")
  719. {
  720. LOG_ERROR("Refuse to delete root dir: " << dirNoSlash);
  721. return false;
  722. }
  723. /* 递归删除:先删除内部所有文件和子目录,再删除自身 */
  724. std::vector<CF_FileInfo> vecChildren;
  725. // 使用通配符列举该目录下的所有条目
  726. if(!listByWildcard(dirWithSlash, vecChildren))
  727. {
  728. LOG_WARN("List children failed before delete: " << dirWithSlash);
  729. }
  730. /* 删除文件, 先切换到该目录,避免FTP频繁切换目录 */
  731. if(!changeToDir(dirWithSlash))
  732. {
  733. LOG_ERROR("ChangeToDir failed: " << dirWithSlash);
  734. return false;
  735. }
  736. for(const auto& fi : vecChildren)
  737. {
  738. /* 软连接这些也用文件删除,不过目前貌似无法获取到软连接 */
  739. if(fi.type != CF_FileType::DIR)
  740. {
  741. if(fi.name.empty() || fi.name == "." || fi.name == "..")
  742. {
  743. continue;
  744. }
  745. if(m_isSftp == false)
  746. {
  747. if(!deleteFileRelative(fi.name))
  748. {
  749. return false;
  750. }
  751. }else
  752. {
  753. /* SFTP使用绝对路径删除 */
  754. std::string absFile = dirWithSlash + fi.name;
  755. if(!deleteFile(absFile))
  756. {
  757. return false;
  758. }
  759. }
  760. }
  761. }
  762. // 再递归删子目录
  763. for(const auto& fi : vecChildren)
  764. {
  765. if(fi.type == CF_FileType::DIR)
  766. {
  767. if(fi.name.empty() || fi.name == "." || fi.name == "..")
  768. {
  769. continue;
  770. }
  771. std::string childDir = dirWithSlash + fi.name;
  772. std::string childNorm = checkDirPath(childDir);
  773. if(childNorm == dirWithSlash)
  774. {
  775. LOG_WARN("Skip self-recursion: " << childNorm);
  776. continue;
  777. }
  778. if(!deleteDirectory(childNorm))
  779. {
  780. LOG_ERROR("Failed to delete subdir: " << childDir);
  781. return false;
  782. }
  783. }
  784. }
  785. /* 删除自身目录,走到这一步,这个文件夹内的所有文件都被删除了 */
  786. struct curl_slist *headerlist = nullptr;
  787. std::string deleteCmd;
  788. if(m_isSftp == false)
  789. {
  790. std::string parentDir, baseName;
  791. splitParentAndBasePath(dirNoSlash, parentDir, baseName);
  792. if(baseName.empty())
  793. {
  794. LOG_ERROR("Delete directory base name is empty: " << dirNoSlash);
  795. return false;
  796. }
  797. /* 切换到父文件夹并删除当前文件夹 */
  798. if(!changeToDir(parentDir))
  799. {
  800. LOG_ERROR("ChangeToDir parent failed: " << parentDir);
  801. return false;
  802. }
  803. // 相对删除:要求已通过 changeToDir() 进入父目录
  804. if(baseName.empty())
  805. {
  806. LOG_ERROR("Delete relative dir name is empty");
  807. return false;
  808. }
  809. // 不允许包含路径分隔符
  810. if(baseName.find('/') != std::string::npos)
  811. {
  812. LOG_ERROR("DeleteDirectoryRelative only accepts basename without '/' : " << baseName);
  813. return false;
  814. }
  815. deleteCmd = "RMD " + baseName; // ftp 使用 RMD
  816. }else
  817. {
  818. /* SFTP使用绝对路径删除 */
  819. std::string rootUrl = m_ftpUrl + "/";
  820. if(!setCommonCurlOptions(rootUrl, 10))
  821. {
  822. return false;
  823. }
  824. deleteCmd = std::string("rmdir ") + dirNoSlash;
  825. }
  826. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  827. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  828. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  829. LOG_DEBUG("Delete relative directory: " << dirNoSlash);
  830. bool ret = performCurl();
  831. curl_slist_free_all(headerlist);
  832. return ret;
  833. }
  834. /**
  835. * @brief 下载文件
  836. *
  837. * @param remoteFile
  838. * @param localFile
  839. * @param timeout 超时时间,单位秒
  840. * @return true
  841. * @return false
  842. */
  843. bool CurlFtp::downloadFile(const std::string& remoteFile, const std::string& localFile, size_t timeout)
  844. {
  845. if(m_ftpUrl.empty())
  846. {
  847. LOG_ERROR("ftpUrl is empty");
  848. return false;
  849. }
  850. /* 检查传入的文件是否符合规范 */
  851. std::string remoteFileTmp = checkFilePath(remoteFile);
  852. std::string ftpUrl = m_ftpUrl + remoteFileTmp;
  853. /* 检查本地文件夹是否存在,不存在则创建 */
  854. // std::string localDir = localFile.substr(0, localFile.find_last_of("/")); /* 去掉最后的 / */
  855. std::string localDirTmp = localFile.substr(0, localFile.find_last_of("/"));
  856. if(!checkLocalDir(localDirTmp))
  857. {
  858. LOG_ERROR("Failed to create local dir: " << localDirTmp);
  859. return false;
  860. }
  861. LOG_DEBUG("远程文件: " << ftpUrl << ", 本地路径: " << localFile);
  862. /* 打开文件,Windows需要转换成 std::wstring 和 std::wofstream */
  863. // #if defined(_WIN32) && defined(_MSC_VER)
  864. // std::wstring wLocalFile(localFile.begin(), localFile.end());
  865. // std::wofstream ofs;
  866. // ofs.open(wLocalFile, std::ios::out | std::ios::binary | std::ios::trunc);
  867. // #else
  868. // std::ofstream ofs;
  869. // ofs.open(localFile, std::ios::out | std::ios::binary | std::ios::trunc);
  870. // #endif /* defined(_WIN32) || defined(_WIN64) */
  871. // if(!ofs.is_open())
  872. // {
  873. // LOG_ERROR("Failed to open local file: " << localFile);
  874. // LOG_ERROR("Error info: " << std::strerror(errno));
  875. // return false;
  876. // }
  877. QFile file(QString::fromStdString(localFile));
  878. if(!file.open(QIODevice::WriteOnly))
  879. {
  880. LOG_ERROR("Failed to open local file: " << localFile);
  881. return false;
  882. }
  883. /* 设置FTP地址 */
  884. setCommonCurlOptions(ftpUrl, timeout);
  885. /* 设置回调函数 */
  886. curl_easy_setopt(m_curl, CURLOPT_WRITEFUNCTION, writeFileCallBack_QT);
  887. curl_easy_setopt(m_curl, CURLOPT_WRITEDATA, &file);
  888. /* 设置进度回调函数 */
  889. curl_easy_setopt(m_curl, CURLOPT_XFERINFOFUNCTION, progress_callback);
  890. curl_easy_setopt(m_curl, CURLOPT_XFERINFODATA, nullptr);
  891. /* 启用下载进度回调函数 */
  892. curl_easy_setopt(m_curl, CURLOPT_NOPROGRESS, 0L);
  893. /* 关闭被动模式,使用主动模式 */
  894. curl_easy_setopt(m_curl, CURLOPT_FTP_USE_EPSV, 0L);
  895. /* 使用二进制传输 */
  896. curl_easy_setopt(m_curl, CURLOPT_TRANSFERTEXT, 0L);
  897. // 忽略 PASV 返回的地址,使用控制连接的地址,解决 NAT 场景
  898. // curl_easy_setopt(m_curl, CURLOPT_FTP_SKIP_PASV_IP, 1L);
  899. /* 发送请求 */
  900. bool ret = performCurl();
  901. if(!ret)
  902. {
  903. std::stringstream ss;
  904. ss << "Failed to download file: " << ftpUrl;
  905. LOG_ERROR("Failed to get file list, Url = " << ftpUrl);
  906. /* 清理下载失败的文件 */
  907. file.close();
  908. std::remove(localFile.c_str());
  909. return false;
  910. }
  911. /* 关闭文件,清理curl */
  912. file.close();
  913. // curl_easy_cleanup(curl);
  914. /* 打印一个换行符 */
  915. // printf("\n");
  916. printf("\n");
  917. return true;
  918. }
  919. /* 下载文件到数组 */
  920. bool CurlFtp::downloadToArray(const std::string& remoteFile, std::vector<char>& arrayInfo, size_t timeout)
  921. {
  922. if(m_ftpUrl.empty())
  923. {
  924. LOG_ERROR("ftpUrl is empty");
  925. return false;
  926. }
  927. /* 检查传入的文件是否符合规范 */
  928. std::string remoteFileTmp = checkFilePath(remoteFile);
  929. std::string ftpUrl = m_ftpUrl + remoteFileTmp;
  930. /* 设置FTP地址 */
  931. setCommonCurlOptions(ftpUrl, timeout);
  932. /* 设置回调函数 */
  933. curl_easy_setopt(m_curl, CURLOPT_WRITEFUNCTION, writeDataCallBack);
  934. curl_easy_setopt(m_curl, CURLOPT_WRITEDATA, &arrayInfo);
  935. /* 设置进度回调函数 */
  936. curl_easy_setopt(m_curl, CURLOPT_XFERINFOFUNCTION, progress_callback);
  937. curl_easy_setopt(m_curl, CURLOPT_XFERINFODATA, nullptr);
  938. /* 启用下载进度回调函数 */
  939. curl_easy_setopt(m_curl, CURLOPT_NOPROGRESS, 0L);
  940. /* 关闭被动模式,使用主动模式 */
  941. curl_easy_setopt(m_curl, CURLOPT_FTP_USE_EPSV, 0L);
  942. /* 使用二进制传输 */
  943. curl_easy_setopt(m_curl, CURLOPT_TRANSFERTEXT, 0L);
  944. /* 发送请求 */
  945. bool ret = performCurl();
  946. if(!ret)
  947. {
  948. LOG_ERROR("Failed to get file list, Url = " << ftpUrl);
  949. }
  950. /* 清理curl */
  951. // curl_easy_cleanup(curl);
  952. /* 打印一个换行符 */
  953. // printf("\n");
  954. printf("\n");
  955. return ret;
  956. }
  957. /**
  958. * @brief 上传文件
  959. *
  960. * @param localFile 本地文件
  961. * @param remoteFile 远程文件
  962. * @param timeout 超时时间,单位秒
  963. * @return true
  964. * @return false
  965. */
  966. bool CurlFtp::uploadFile(const std::string& localFile, const std::string& remoteFile, size_t timeout, bool isCreateDir)
  967. {
  968. if(m_ftpUrl.empty())
  969. {
  970. LOG_ERROR("Url is empty");
  971. return false;
  972. }
  973. // printf("uploadFile: %d\n", __LINE__);
  974. /* 检查本地文件是否存在 */
  975. if(!checkLocalFileExist(localFile))
  976. {
  977. LOG_ERROR("Local file is not exist: " << localFile);
  978. return false;
  979. }
  980. // printf("uploadFile: %d\n", __LINE__);
  981. /* 检查FTP文件名是否符合规范 */
  982. std::string remoteFileTmp = checkFilePath(remoteFile);
  983. std::string remoteDirTmp = remoteFileTmp.substr(0, remoteFileTmp.find_last_of("/"));
  984. // printf("uploadFile: %d\n", __LINE__);
  985. /* 检查远程FTP上的文件夹是否存在,不存在则创建 */
  986. if(!existsDir(remoteDirTmp))
  987. {
  988. if(isCreateDir)
  989. {
  990. if(!createDirectory(remoteDirTmp))
  991. {
  992. // LOG_ERROR("Failed to create remote dir: {}", remoteFileTmp);
  993. return false;
  994. }
  995. }else {
  996. LOG_ERROR("Remote dir is not exist: " << remoteDirTmp);
  997. return false;
  998. }
  999. }
  1000. // printf("uploadFile: %d\n", __LINE__);
  1001. /* 拼接远程文件的url */
  1002. std::string ftpUrl = m_ftpUrl + remoteFileTmp;
  1003. /* 打开文件 */
  1004. std::ifstream ifs;
  1005. ifs.open(localFile, std::ios::in | std::ios::binary);
  1006. if(!ifs.is_open())
  1007. {
  1008. LOG_ERROR("Failed to open local file: " << localFile);
  1009. return false;
  1010. }
  1011. // printf("uploadFile: %d\n", __LINE__);
  1012. /* 获取文件大小 */
  1013. // auto startPos = ifs.tellg();
  1014. ifs.seekg(0, std::ios::end);
  1015. auto fileSize = ifs.tellg();
  1016. /* 恢复指针到文件头 */
  1017. ifs.seekg(0, std::ios::beg);
  1018. LOG_DEBUG("File size: " << (long)fileSize);
  1019. /* 设置FTP地址 */
  1020. if(!setCommonCurlOptions(ftpUrl, timeout))
  1021. {
  1022. ifs.close();
  1023. return false;
  1024. }
  1025. /* 启用上传 */
  1026. curl_easy_setopt(m_curl, CURLOPT_UPLOAD, 1L);
  1027. /* 设置回调函数 */
  1028. curl_easy_setopt(m_curl, CURLOPT_READFUNCTION, readFileCallBack);
  1029. curl_easy_setopt(m_curl, CURLOPT_READDATA, &ifs);
  1030. /* 设置上传文件的大小 */
  1031. curl_easy_setopt(m_curl, CURLOPT_INFILESIZE_LARGE, (curl_off_t)fileSize);
  1032. /* 设置进度回调函数 */
  1033. curl_easy_setopt(m_curl, CURLOPT_XFERINFOFUNCTION, progress_callback);
  1034. curl_easy_setopt(m_curl, CURLOPT_XFERINFODATA, nullptr);
  1035. /* 启用下载进度回调函数 */
  1036. curl_easy_setopt(m_curl, CURLOPT_NOPROGRESS, 0L);
  1037. /* 关闭被动模式,使用主动模式 */
  1038. curl_easy_setopt(m_curl, CURLOPT_FTP_USE_EPSV, 0L);
  1039. /* 使用二进制传输 */
  1040. curl_easy_setopt(m_curl, CURLOPT_TRANSFERTEXT, 0L);
  1041. // printf("uploadFile: %d\n", __LINE__);
  1042. /* 发送请求 */
  1043. bool ret = performCurl();
  1044. if(!ret)
  1045. {
  1046. LOG_ERROR("Upload file failed, Url = " << ftpUrl);
  1047. }
  1048. // printf("uploadFile: %d\n", __LINE__);
  1049. /* 关闭文件,清理curl */
  1050. ifs.close();
  1051. // printf("uploadFile: %d\n", __LINE__);
  1052. // curl_easy_cleanup(curl);
  1053. /* 打印一个换行符 */
  1054. printf("\n");
  1055. return ret;
  1056. }
  1057. /**
  1058. * @brief 上传文件,上传数据
  1059. * 注意:函数内不会拷贝数据,因此在上传完成前需要保证该指针的有效性,拷贝完成后也不会销毁源数据
  1060. * 默认超时时间是30秒,也无法设置
  1061. *
  1062. * @param srcData 数据指针
  1063. * @param size 数据大小
  1064. * @param remoteFile 远程文件名,包括地址
  1065. * @param timeout 超时时间,单位秒
  1066. * @return true
  1067. * @return false
  1068. */
  1069. bool CurlFtp::uploadData(char* srcData, size_t size, const std::string& remoteFile, size_t timeout, bool isCreateDir)
  1070. {
  1071. if(m_ftpUrl.empty())
  1072. {
  1073. LOG_ERROR("Url is empty");
  1074. return false;
  1075. }
  1076. /* 初始化本地数据 */
  1077. CF_ArrayInfo arrayInfo;
  1078. arrayInfo.data = srcData;
  1079. arrayInfo.size = size;
  1080. arrayInfo.pos = 0;
  1081. /* 检查FTP文件名是否符合规范 */
  1082. std::string remoteFileTmp = checkFilePath(remoteFile);
  1083. std::string remoteDirTmp = remoteFileTmp.substr(0, remoteFileTmp.find_last_of("/"));
  1084. /* 检查远程FTP上的文件夹是否存在,不存在则创建 */
  1085. if(!existsDir(remoteDirTmp))
  1086. {
  1087. if(isCreateDir)
  1088. {
  1089. if(!createDirectory(remoteDirTmp))
  1090. {
  1091. // LOG_ERROR("Failed to create remote dir: {}", remoteFileTmp);
  1092. return false;
  1093. }
  1094. }else {
  1095. LOG_ERROR("Remote dir is not exist: " << remoteDirTmp);
  1096. return false;
  1097. }
  1098. }
  1099. /* 拼接远程文件的url */
  1100. std::string ftpUrl = m_ftpUrl + remoteFileTmp;
  1101. LOG_DEBUG("Data size: " << arrayInfo.size);
  1102. /* 设置FTP地址 */
  1103. if(!setCommonCurlOptions(ftpUrl, timeout))
  1104. {
  1105. return false;
  1106. }
  1107. /* 启用上传 */
  1108. curl_easy_setopt(m_curl, CURLOPT_UPLOAD, 1L);
  1109. /* 设置回调函数 */
  1110. curl_easy_setopt(m_curl, CURLOPT_READFUNCTION, readDataCallBack);
  1111. curl_easy_setopt(m_curl, CURLOPT_READDATA, &arrayInfo);
  1112. /* 设置上传文件的大小 */
  1113. curl_easy_setopt(m_curl, CURLOPT_INFILESIZE_LARGE, (curl_off_t)arrayInfo.size);
  1114. /* 设置进度回调函数 */
  1115. curl_easy_setopt(m_curl, CURLOPT_XFERINFOFUNCTION, progress_callback);
  1116. curl_easy_setopt(m_curl, CURLOPT_XFERINFODATA, nullptr);
  1117. /* 启用下载进度回调函数 */
  1118. curl_easy_setopt(m_curl, CURLOPT_NOPROGRESS, 0L);
  1119. /* 关闭被动模式,使用主动模式 */
  1120. curl_easy_setopt(m_curl, CURLOPT_FTP_USE_EPSV, 0L);
  1121. /* 使用二进制传输 */
  1122. curl_easy_setopt(m_curl, CURLOPT_TRANSFERTEXT, 0L);
  1123. if(m_enableCurlDebug)
  1124. {
  1125. /* 启用调试信息 */
  1126. curl_easy_setopt(m_curl, CURLOPT_VERBOSE, 1L);
  1127. }
  1128. /* 发送请求 */
  1129. bool ret = performCurl();
  1130. if(!ret)
  1131. {
  1132. LOG_ERROR("Upload file failed, Url = " << ftpUrl);
  1133. }
  1134. /* 关闭文件,清理curl */
  1135. // curl_easy_cleanup(curl);
  1136. /* 打印一个换行符 */
  1137. printf("\n");
  1138. return ret;
  1139. }
  1140. /**
  1141. * @brief 列出文件列表,这个需要的参数很多,无法设置成静态函数
  1142. *
  1143. * @param curl CURL句柄
  1144. * @param dir 文件夹,相对路径,不带有IP和端口号
  1145. * @param fileList 返回值,文件列表
  1146. * @return true
  1147. * @return false
  1148. */
  1149. // bool CurlFtp::listAll(CURL* curl, std::string dir, std::vector<CF_FileInfo>& fileInfoList)
  1150. // {
  1151. // if(m_IP.empty())
  1152. // {
  1153. // LOG_ERROR("IP is empty");
  1154. // return false;
  1155. // }
  1156. // // bool result = false;
  1157. // std::string strSrc;
  1158. // /* 先设置FTP地址 */
  1159. // std::string ftpUrl = m_ftpUrl + dir;
  1160. // if(!setCommonCurlOptions(curl, ftpUrl, 10))
  1161. // {
  1162. // return false;
  1163. // }
  1164. // /* 设置列出文件命令,只列出文件名称,不携带信息 */
  1165. // // curl_easy_setopt(m_curl, CURLOPT_DIRLISTONLY, 1L);
  1166. // /* 设置为文本传输 */
  1167. // curl_easy_setopt(curl, CURLOPT_TRANSFERTEXT, 1L);
  1168. // /* 设置回调函数 */
  1169. // curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writeStringCallback);
  1170. // /* 设置需要写入的容器,回调函数的第四个参数 */
  1171. // curl_easy_setopt(curl, CURLOPT_WRITEDATA, &strSrc);
  1172. // // 禁用被动模式,设置为0是禁用(如果需要)
  1173. // // curl_easy_setopt(curl, CURLOPT_FTP_USE_EPSV, 1L);
  1174. // /* 发送请求 */
  1175. // // CURLcode res = curl_easy_perform(curl);
  1176. // bool ret = performCurl(curl);
  1177. // if(!ret)
  1178. // {
  1179. // LOG_ERROR("Failed to get file listUrl = " << ftpUrl);
  1180. // return false;
  1181. // }
  1182. // /* 解析字符串 */
  1183. // parseFileInfo(strSrc, fileInfoList);
  1184. // return true;
  1185. // }
  1186. /**
  1187. * @brief 列出文件列表,这个需要的参数很多,无法设置成静态函数
  1188. *
  1189. * @param curl CURL句柄
  1190. * @param dir 文件夹,相对路径,不带有IP和端口号
  1191. * @param fileList 返回值,文件列表
  1192. * @return true
  1193. * @return false
  1194. */
  1195. bool CurlFtp::listByWildcard(const std::string& dir, std::vector<CF_FileInfo>& out)
  1196. {
  1197. if(m_IP.empty())
  1198. {
  1199. LOG_ERROR("IP is empty");
  1200. return false;
  1201. }
  1202. /* 规范化目录并追加通配符 */
  1203. std::string dirWithSlash = checkDirPath(dir); // 保证以'/'结束
  1204. std::string ftpUrl;
  1205. if(m_isSftp)
  1206. {
  1207. ftpUrl = m_ftpUrl + dirWithSlash;
  1208. }else {
  1209. ftpUrl = m_ftpUrl + dirWithSlash + "*";
  1210. }
  1211. if(!setCommonCurlOptions(ftpUrl, 10))
  1212. {
  1213. return false;
  1214. }
  1215. /* 启用通配符匹配并注册回调,仅收集信息不下载 */
  1216. if(m_isSftp == false)
  1217. {
  1218. /* 设置为文本传输 */
  1219. curl_easy_setopt(m_curl, CURLOPT_TRANSFERTEXT, 1L);
  1220. curl_easy_setopt(m_curl, CURLOPT_WILDCARDMATCH, 1L);
  1221. curl_easy_setopt(m_curl, CURLOPT_CHUNK_BGN_FUNCTION, chunk_bgn_cb);
  1222. curl_easy_setopt(m_curl, CURLOPT_CHUNK_END_FUNCTION, chunk_end_cb);
  1223. curl_easy_setopt(m_curl, CURLOPT_CHUNK_DATA, &out);
  1224. bool ret = performCurl();
  1225. if(!ret)
  1226. {
  1227. LOG_ERROR("Wildcard list failed, Url = " << ftpUrl);
  1228. }
  1229. return ret;
  1230. }else
  1231. {
  1232. /* 设置回调函数 */
  1233. std::string strSrc;
  1234. curl_easy_setopt(m_curl, CURLOPT_WRITEFUNCTION, writeStringCallback);
  1235. /* 设置需要写入的容器,回调函数的第四个参数 */
  1236. curl_easy_setopt(m_curl, CURLOPT_WRITEDATA, &strSrc);
  1237. /* 发送请求 */
  1238. bool ret = performCurl();
  1239. if(!ret)
  1240. {
  1241. LOG_ERROR("Failed to get file list, Url = " << ftpUrl);
  1242. return false;
  1243. }
  1244. /* 解析字符串 */
  1245. parseFileInfo(strSrc, out);
  1246. return true;
  1247. }
  1248. }
  1249. /* 设置常规通用的curl设置 */
  1250. bool CurlFtp::setCommonCurlOptions(const std::string& ftpUrl, size_t timeout)
  1251. {
  1252. if(!resetCurl())
  1253. {
  1254. return false;
  1255. }
  1256. /* 设置FTP地址 */
  1257. curl_easy_setopt(m_curl, CURLOPT_URL, ftpUrl.c_str());
  1258. curl_easy_setopt(m_curl, CURLOPT_PORT, m_port);
  1259. /* 设置用户名和密码 */
  1260. curl_easy_setopt(m_curl, CURLOPT_USERNAME, m_username.c_str());
  1261. curl_easy_setopt(m_curl, CURLOPT_PASSWORD, m_password.c_str());
  1262. curl_easy_setopt(m_curl, CURLOPT_USERPWD, (m_username + ":" + m_password).c_str());
  1263. /* 启用跟随重定向 */
  1264. curl_easy_setopt(m_curl, CURLOPT_FOLLOWLOCATION, 1L);
  1265. /* 设置超时时间 */
  1266. curl_easy_setopt(m_curl, CURLOPT_TIMEOUT, timeout);
  1267. curl_easy_setopt(m_curl, CURLOPT_CONNECTTIMEOUT, timeout);
  1268. /* 启用持久连接 */
  1269. curl_easy_setopt(m_curl, CURLOPT_TCP_KEEPALIVE, 1L);
  1270. if(m_enableCurlDebug)
  1271. {
  1272. /* 启用调试信息 */
  1273. curl_easy_setopt(m_curl, CURLOPT_VERBOSE, 1L);
  1274. }
  1275. /* 设置SFTP */
  1276. if(!setSftp())
  1277. {
  1278. return false;
  1279. }
  1280. return true;
  1281. }
  1282. /* 检查文件夹路径是否合规,不合规就修改 */
  1283. std::string CurlFtp::checkDirPath(const std::string& dir)
  1284. {
  1285. std::string dirTmp = dir;
  1286. /* 检查是否以“/”开头 */
  1287. std::regex reg(R"(^/[.]*)");
  1288. if(!std::regex_match(dirTmp, reg))
  1289. {
  1290. dirTmp = "/" + dirTmp;
  1291. }
  1292. /* 如果有重复的“/”,替换成一个 “/” */
  1293. std::regex reg1(R"(//)");
  1294. dirTmp = std::regex_replace(dirTmp, reg1, "/");
  1295. /* 检查是否以“/”结束 */
  1296. if (dirTmp.back() != '/')
  1297. {
  1298. dirTmp.push_back('/');
  1299. }
  1300. return dirTmp;
  1301. }
  1302. /* 检查文件路径是否合规 */
  1303. std::string CurlFtp::checkFilePath(const std::string& file)
  1304. {
  1305. std::string dirTmp = file;
  1306. /* 检查是否以“/”结束,如果是以“/”结尾,返回空字符串,并报错 */
  1307. std::regex reg2(R"([.]*/$)");
  1308. if(std::regex_match(dirTmp, reg2))
  1309. {
  1310. LOG_ERROR("File path is not correct, end with '/'");
  1311. return std::string();
  1312. }
  1313. /* 检查是否以“/”开头 */
  1314. std::regex reg(R"(^/[.]*)");
  1315. if(!std::regex_match(dirTmp, reg))
  1316. {
  1317. dirTmp = "/" + dirTmp;
  1318. }
  1319. /* 如果有重复的“/”,替换成一个 “/” */
  1320. std::regex reg1(R"(//)");
  1321. dirTmp = std::regex_replace(dirTmp, reg1, "/");
  1322. return dirTmp;
  1323. }
  1324. /**
  1325. * @brief 检查本地文件夹是否存在,不存在则创建
  1326. * 这里默认传入的是文件夹路径,不是文件路径,如果最后有‘/’,会自动去掉
  1327. *
  1328. * @param localDir 文件夹路径
  1329. * @return true
  1330. * @return false
  1331. */
  1332. bool CurlFtp::checkLocalDir(const std::string& localDir)
  1333. {
  1334. /* 去掉最后的‘/’ */
  1335. std::regex reg(R"([.]*/$)");
  1336. std::string localDirTmp = std::regex_replace(localDir, reg, "");
  1337. /* 检查文件夹是否存在 */
  1338. // #if (__cplusplus >= 201703L)
  1339. // if(std::filesystem::exists(localDirTmp))
  1340. // #else
  1341. if(QDir(localDirTmp.c_str()).exists())
  1342. // #endif /* (__cplusplus >= 201703L) */
  1343. {
  1344. return true;
  1345. }
  1346. /* 创建文件夹 */
  1347. // #if (__cplusplus >= 201703L)
  1348. // if(!std::filesystem::create_directories(localDirTmp))
  1349. // #else
  1350. if(!QDir().mkpath(localDirTmp.c_str()))
  1351. // #endif /* (__cplusplus >= 201703L) */
  1352. {
  1353. LOG_ERROR("Failed to create local dir: " << localDirTmp);
  1354. return false;
  1355. }
  1356. return true;
  1357. }
  1358. /* 检查本地文件夹是否存在,不会创建 */
  1359. bool CurlFtp::checkLocalDirExist(const std::string& localDir)
  1360. {
  1361. /* 去掉最后的‘/’ */
  1362. std::regex reg(R"([.]*/$)");
  1363. std::string localDirTmp = std::regex_replace(localDir, reg, "");
  1364. /* 检查文件夹是否存在 */
  1365. bool result = false;
  1366. // #if (__cplusplus >= 201703L)
  1367. // result = std::filesystem::exists(localDirTmp);
  1368. // #else
  1369. result = QDir(localDirTmp.c_str()).exists();
  1370. // #endif /* (__cplusplus >= 201703L) */
  1371. return result;
  1372. }
  1373. /* 检查本地文件是否存在 */
  1374. bool CurlFtp::checkLocalFileExist(const std::string& localFile)
  1375. {
  1376. /* 去掉最后的‘/’ */
  1377. // std::regex reg(R"([.]*/$)");
  1378. std::string localDirTmp = trimTrailingSlash(localFile);
  1379. /* 检查文件是否存在 */
  1380. bool result = false;
  1381. // #if (__cplusplus >= 201703L)
  1382. // result = std::filesystem::exists(localDirTmp);
  1383. // #else
  1384. result = QFile(localDirTmp.c_str()).exists();
  1385. // #endif /* (__cplusplus >= 201703L) */
  1386. return result;
  1387. }
  1388. /* 执行curl,添加重试机制 */
  1389. bool CurlFtp::performCurl()
  1390. {
  1391. int retry = 1;
  1392. while(retry > 0)
  1393. {
  1394. CURLcode res = curl_easy_perform(m_curl);
  1395. if(res == CURLE_OK)
  1396. {
  1397. return true;
  1398. }
  1399. else if (res == CURLE_LOGIN_DENIED)
  1400. {
  1401. LOG_ERROR("Login failed, error code: " << (int)res << ", " << curl_easy_strerror(res));
  1402. /* 设置用户名和密码 */
  1403. curl_easy_setopt(m_curl, CURLOPT_USERNAME, m_username.c_str());
  1404. curl_easy_setopt(m_curl, CURLOPT_PASSWORD, m_password.c_str());
  1405. }
  1406. else if(res == CURLE_REMOTE_FILE_NOT_FOUND)
  1407. {
  1408. LOG_WARN("Remote file or directory not found, error code: " << (int)res << ", " << curl_easy_strerror(res));
  1409. return false;
  1410. } else
  1411. {
  1412. LOG_ERROR("Perform curl failed, error code: " << (int)res << ", " << curl_easy_strerror(res));
  1413. LOG_ERROR("Retry times: " << (4 - retry));
  1414. }
  1415. retry--;
  1416. }
  1417. return false;
  1418. }
  1419. bool CurlFtp::performCurlStrict()
  1420. {
  1421. int retry = 1;
  1422. while (retry-- > 0) {
  1423. CURLcode res = curl_easy_perform(m_curl);
  1424. if (res == CURLE_OK) return true;
  1425. LOG_ERROR("Strict perform failed, code: " << (int)res << ", " << curl_easy_strerror(res));
  1426. }
  1427. return false;
  1428. }
  1429. /* 重置curl设置 */
  1430. bool CurlFtp::resetCurl()
  1431. {
  1432. if(m_curl == nullptr)
  1433. {
  1434. m_curl = curl_easy_init();
  1435. if(m_curl == nullptr)
  1436. {
  1437. LOG_ERROR("curl init failed !");
  1438. return false;
  1439. }
  1440. }else {
  1441. curl_easy_reset(m_curl);
  1442. }
  1443. return true;
  1444. }
  1445. /* 设置sftp,如果是sftp就设置 */
  1446. bool CurlFtp::setSftp()
  1447. {
  1448. /* 判断是否是SFTP */
  1449. if(m_isSftp == false)
  1450. {
  1451. return true;
  1452. }
  1453. /* 设置仅使用密码验证,不优先验证密钥 */
  1454. if(m_isSftpEnableKey == false)
  1455. {
  1456. curl_easy_setopt(m_curl, CURLOPT_SSH_AUTH_TYPES, CURLSSH_AUTH_PASSWORD);
  1457. } else {
  1458. /* 设置使用密钥验证 */
  1459. curl_easy_setopt(m_curl, CURLOPT_SSH_AUTH_TYPES, CURLSSH_AUTH_PUBLICKEY);
  1460. /* 设置公钥和私钥路径 */
  1461. curl_easy_setopt(m_curl, CURLOPT_SSH_PUBLIC_KEYFILE, m_sftpPublicKeyFile.c_str());
  1462. curl_easy_setopt(m_curl, CURLOPT_SSH_PRIVATE_KEYFILE, m_sftpPrivateKeyFile.c_str());
  1463. /* 如果密钥有密码,则设置密码 */
  1464. if(!m_sftpPassphrase.empty())
  1465. {
  1466. curl_easy_setopt(m_curl, CURLOPT_KEYPASSWD, m_sftpPassphrase.c_str());
  1467. }
  1468. }
  1469. return true;
  1470. }
  1471. /**
  1472. * @brief 检查FTP文件夹是否存在,注意,传入的文件夹最后一定要带/,否则会检查的是文件
  1473. * 现在检测方式和SFTP一致,都使用列出上一层目录的方式进行检测
  1474. *
  1475. * @param dir
  1476. * @return true
  1477. * @return false
  1478. */
  1479. bool CurlFtp::checkFtpDirExist(const std::string& dir)
  1480. {
  1481. /* 检查传入的文件夹 */
  1482. auto dirTmp = checkDirPath(dir);
  1483. /* 获取文件夹 */
  1484. std::string parentDir = QFileInfo(QString::fromStdString(dir)).path().toStdString();
  1485. std::vector<CF_FileInfo> vecDir;
  1486. bool ret = listByWildcard(parentDir, vecDir);
  1487. if(!ret)
  1488. {
  1489. LOG_ERROR("Failed to check ftp dir: " << dir);
  1490. return false;
  1491. }
  1492. /* 取出本层文件夹名称 */
  1493. std::string dirName = QFileInfo(QString::fromStdString(dir)).fileName().toStdString();
  1494. /* 判断是否存在 */
  1495. bool result = false;
  1496. for(const auto& fi : vecDir)
  1497. {
  1498. if(fi.name == dirName && fi.type == CF_FileType::DIR)
  1499. {
  1500. result = true;
  1501. break;
  1502. }
  1503. }
  1504. return result;
  1505. }
  1506. /* 检查SFTP文件夹是否存在,这里通过列出上一层的文件夹中的内容,然后进行对比判断的 */
  1507. // bool CurlFtp::checkSftpDirExist(const std::string& dir)
  1508. // {
  1509. // /* 取出上一层文件夹路径 */
  1510. // std::string parentDir = QFileInfo(QString::fromStdString(dir)).path().toStdString();
  1511. // std::vector<std::string> vecDir;
  1512. // bool ret = getDirList(parentDir, vecDir);
  1513. // if(!ret)
  1514. // {
  1515. // LOG_ERROR("Failed to check sftp dir: " << dir);
  1516. // return false;
  1517. // }
  1518. // /* 取出本层文件夹名称 */
  1519. // std::string dirName = QFileInfo(QString::fromStdString(dir)).fileName().toStdString();
  1520. // /* 判断是否存在 */
  1521. // bool result = false;
  1522. // for(const std::string& str : vecDir)
  1523. // {
  1524. // if(str == dirName)
  1525. // {
  1526. // result = true;
  1527. // break;
  1528. // }
  1529. // }
  1530. // return result;
  1531. // }
  1532. /* 检查FTP/SFTP文件是否存在,使用通配符获取文件列表匹配 */
  1533. bool CurlFtp::checkFtpFileExist(const std::string& file)
  1534. {
  1535. /* 判断文件字符是否符合规范 */
  1536. auto fileTmp = checkFilePath(file);
  1537. if(fileTmp.empty())
  1538. {
  1539. LOG_ERROR("File path is not correct: " << file);
  1540. return false;
  1541. }
  1542. /* 取出上一层文件夹路径 */
  1543. std::string parentDir = QFileInfo(QString::fromStdString(file)).path().toStdString();
  1544. std::vector<CF_FileInfo> vecFiles;
  1545. bool ret = listByWildcard(parentDir, vecFiles);
  1546. if(!ret)
  1547. {
  1548. LOG_ERROR("Failed to check ftp file: " << file);
  1549. return false;
  1550. }
  1551. /* 取出本层文件名称 */
  1552. std::string fileName = QFileInfo(QString::fromStdString(file)).fileName().toStdString();
  1553. /* 判断是否存在 */
  1554. bool result = false;
  1555. for(const auto& fi : vecFiles)
  1556. {
  1557. if(fi.name == fileName && fi.type != CF_FileType::DIR)
  1558. {
  1559. result = true;
  1560. break;
  1561. }
  1562. }
  1563. return result;
  1564. }
  1565. /* 进入一个路径 */
  1566. bool CurlFtp::changeToDir(const std::string& dir)
  1567. {
  1568. if(m_ftpUrl.empty())
  1569. {
  1570. LOG_ERROR("ftpUrl is empty");
  1571. return false;
  1572. }
  1573. // 规范化目录,确保以'/'结尾
  1574. std::string dirWithSlash = checkDirPath(dir);
  1575. std::string url = m_ftpUrl + dirWithSlash;
  1576. // 设置到该目录并发送一个不传输实体的请求,相当于验证可进入
  1577. if(!setCommonCurlOptions(url, 10))
  1578. {
  1579. return false;
  1580. }
  1581. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1582. LOG_DEBUG("Change to remote dir: " << dirWithSlash);
  1583. return performCurlStrict();
  1584. }
  1585. /* 删除一个文件,相对路径,调用这个函数,需要先调用上面那个函数进入路径 */
  1586. bool CurlFtp::deleteFileRelative(const std::string& remoteFile)
  1587. {
  1588. // 相对删除:要求已通过 changeToDir() 进入父目录
  1589. // 仅接受基名,不允许包含'/',且不允许以'/'结尾
  1590. if(remoteFile.empty())
  1591. {
  1592. LOG_ERROR("Delete relative file name is empty");
  1593. return false;
  1594. }
  1595. // 不允许包含路径分隔符
  1596. if(remoteFile.find('/') != std::string::npos)
  1597. {
  1598. LOG_ERROR("DeleteFileRelative only accepts basename without '/' : " << remoteFile);
  1599. return false;
  1600. }
  1601. // 当前 m_curl 已经被 changeToDir() 设置到父目录 URL
  1602. // 直接下发 DELE/rm 命令
  1603. struct curl_slist *headerlist = nullptr;
  1604. std::string deleteCmd;
  1605. if(m_isSftp)
  1606. {
  1607. deleteCmd = "rm " + remoteFile; // sftp 使用 rm
  1608. }
  1609. else
  1610. {
  1611. deleteCmd = "DELE " + remoteFile; // ftp 使用 DELE
  1612. }
  1613. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  1614. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  1615. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1616. LOG_DEBUG("Delete relative file: " << remoteFile);
  1617. bool ret = performCurl();
  1618. curl_slist_free_all(headerlist);
  1619. return ret;
  1620. }
  1621. /* 删除一个文件夹,相对路径,调用这个函数,需要先调用上面那个函数进入路径 */
  1622. bool CurlFtp::deleteDirectoryRelative(const std::string& ftpDir)
  1623. {
  1624. // 相对删除:要求已通过 changeToDir() 进入父目录
  1625. // 仅接受基名,不允许包含'/',且不允许以'/'结尾
  1626. if(ftpDir.empty())
  1627. {
  1628. LOG_ERROR("Delete relative dir name is empty");
  1629. return false;
  1630. }
  1631. // 不允许包含路径分隔符
  1632. if(ftpDir.find('/') != std::string::npos)
  1633. {
  1634. LOG_ERROR("DeleteDirectoryRelative only accepts basename without '/' : " << ftpDir);
  1635. return false;
  1636. }
  1637. // 当前 m_curl 已经被 changeToDir() 设置到父目录 URL
  1638. // 直接下发 RMD/rmdir 命令
  1639. struct curl_slist *headerlist = nullptr;
  1640. std::string deleteCmd;
  1641. if(m_isSftp)
  1642. {
  1643. deleteCmd = "rmdir " + ftpDir; // sftp 使用 rmdir
  1644. }
  1645. else
  1646. {
  1647. deleteCmd = "RMD " + ftpDir; // ftp 使用 RMD
  1648. }
  1649. headerlist = curl_slist_append(headerlist, deleteCmd.c_str());
  1650. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  1651. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1652. LOG_DEBUG("Delete relative directory: " << ftpDir);
  1653. bool ret = performCurl();
  1654. curl_slist_free_all(headerlist);
  1655. return ret;
  1656. }
  1657. /**
  1658. * @brief 创建FTP文件夹,只能创建一层文件夹
  1659. *
  1660. * @param ftpDir 文件夹路径
  1661. * @return true 文件夹创建成功或者文件夹存在
  1662. * @return false
  1663. */
  1664. bool CurlFtp::createOneDirectory(const std::string& ftpDir)
  1665. {
  1666. if(m_ftpUrl.empty())
  1667. {
  1668. LOG_ERROR("ftpUrl is empty");
  1669. return false;
  1670. }
  1671. /* 先检查FTP文件夹是否存在,如果存在直接返回true */
  1672. if(existsDir(ftpDir))
  1673. {
  1674. return true;
  1675. }
  1676. setCommonCurlOptions(m_ftpUrl, 30);
  1677. /* 检查传入的文件夹格式 */
  1678. auto dirTmp = checkDirPath(ftpDir);
  1679. /* 去掉末尾的“/” */
  1680. auto dirNoSlash = trimTrailingSlash(dirTmp);
  1681. /* 创建FTP头信息 */
  1682. struct curl_slist *headerlist = NULL;
  1683. std::string mkdir;
  1684. if(m_isSftp)
  1685. {
  1686. mkdir = "mkdir " + dirNoSlash;
  1687. }else {
  1688. mkdir = "MKD " + dirNoSlash;
  1689. }
  1690. headerlist = curl_slist_append(headerlist, mkdir.c_str());
  1691. /* 设置FTP命令行选项 */
  1692. curl_easy_setopt(m_curl, CURLOPT_QUOTE, headerlist);
  1693. /* 不包含实体 */
  1694. curl_easy_setopt(m_curl, CURLOPT_NOBODY, 1L);
  1695. LOG_DEBUG("Create remote dir: " << dirTmp);
  1696. // CURLcode res = curl_easy_perform(curl);
  1697. bool ret = performCurl();
  1698. if(!ret)
  1699. {
  1700. LOG_ERROR("Failed to create remote Dir");
  1701. }
  1702. // curl_easy_cleanup(curl);
  1703. curl_slist_free_all(headerlist);
  1704. return ret;
  1705. }