修正AppleTV逻辑

- 修复M3U8选择音轨/字幕不生效问题
  - 外挂音轨时enableAudioOnly可仅下载音频

N_m3u8DL-CLI/DownloadManager.cs

@@ -65,12 +65,14 @@ namespace N_m3u8DL_CLI
                     {
                         Global.ShouldStop = true;
                         cts.Cancel();
+                        timer.Enabled = false;
                     }
                 }
                 else
                 {
                     stopCount = 0;
                     Global.BYTEDOWN = 0;
+                    Global.ShouldStop = false;
                 }
             };
         }
@@ -328,7 +330,7 @@ namespace N_m3u8DL_CLI
                     Count++;
                     LOGGER.WriteLine(strings.retryCount + Count + " / " + RetryCount);
                     LOGGER.PrintLine(strings.retryCount + Count + " / " + RetryCount, LOGGER.Warning);
-                    Thread.Sleep(6000);
+                    Thread.Sleep(3000);
                     DoDownload();
                 }
             }
@@ -368,6 +370,8 @@ namespace N_m3u8DL_CLI
                             //有MAP文件，一般为mp4，采取默认动作
                             if(File.Exists(DownDir + "\\Part_0\\!MAP.ts"))
                                 MuxFormat = "mp4";
+                            if (isVTT)
+                                MuxFormat = "vtt";
 
                             if (Global.AUDIO_TYPE != "")
                                 MuxFormat = Global.AUDIO_TYPE;
@@ -528,6 +532,8 @@ namespace N_m3u8DL_CLI
                         //有MAP文件，一般为mp4，采取默认动作
                         if (File.Exists(DownDir + "\\!MAP.ts")) 
                             MuxFormat = "mp4";
+                        if (isVTT)
+                            MuxFormat = "vtt";
                         Global.CombineMultipleFilesIntoSingleFile(Global.GetFiles(DownDir, ".ts"), FFmpeg.OutPutPath + $".{MuxFormat}");
                     }
                     else

N_m3u8DL-CLI/Global.cs

@@ -24,15 +24,17 @@ namespace N_m3u8DL_CLI
         public static string AUDIO_TYPE = "";
         public static bool HadReadInfo = false;
         private static bool noProxy = false;
+        private static string useProxyAddress = "";
 
         public static bool ShouldStop { get => shouldStop; set => shouldStop = value; }
         public static bool NoProxy { get => noProxy; set => noProxy = value; }
+        public static string UseProxyAddress { get => useProxyAddress; set => useProxyAddress = value; }
 
 
         /*===============================================================================*/
         static Version ver = System.Reflection.Assembly.GetExecutingAssembly().GetName().Version;
         static string nowVer = $"{ver.Major}.{ver.Minor}.{ver.Build}";
-        static string nowDate = "20210118";
+        static string nowDate = "20210325";
         public static void WriteInit()
         {
             Console.Clear();
@@ -102,14 +104,23 @@ namespace N_m3u8DL_CLI
         public static string GetWebSource(String url, string headers = "", int TimeOut = 60000)
         {
             string htmlCode = string.Empty;
-            for (int i = 0; i < 10; i++)
+            for (int i = 0; i < 5; i++)
             {
                 try
                 {
                 reProcess:
                     HttpWebRequest webRequest = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);
                     webRequest.Method = "GET";
-                    if (NoProxy) webRequest.Proxy = null;
+                    if (NoProxy)
+                    {
+                        webRequest.Proxy = null;
+                    }
+                    else if (UseProxyAddress != "")
+                    {
+                        WebProxy proxy = new WebProxy(UseProxyAddress);
+                        //proxy.Credentials = new NetworkCredential(username, password);
+                        webRequest.Proxy = proxy;
+                    }
                     webRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36";
                     webRequest.Accept = "*/*";
                     webRequest.Headers.Add("Accept-Encoding", "gzip, deflate, br");
@@ -198,6 +209,7 @@ namespace N_m3u8DL_CLI
                 }
                 catch (Exception e)  //捕获所有异常
                 {
+                    LOGGER.WriteLine(e.Message);
                     LOGGER.WriteLineError(e.Message);
                     Thread.Sleep(1000); //1秒后重试
                     continue;
@@ -370,7 +382,16 @@ namespace N_m3u8DL_CLI
                 string redirectUrl;
                 WebRequest myRequest = WebRequest.Create(url);
                 myRequest.Timeout = timeout;
-                if (NoProxy) myRequest.Proxy = null;
+                if (NoProxy)
+                {
+                    myRequest.Proxy = null;
+                }
+                else if (UseProxyAddress != "")
+                {
+                    WebProxy proxy = new WebProxy(UseProxyAddress);
+                    //proxy.Credentials = new NetworkCredential(username, password);
+                    myRequest.Proxy = proxy;
+                }
                 //添加headers
                 if (headers != "")
                 {
@@ -424,7 +445,16 @@ namespace N_m3u8DL_CLI
             req.Timeout = timeOut;
             req.ReadWriteTimeout = timeOut; //重要
             req.AllowAutoRedirect = false; //手动处理重定向，否则会丢失Referer
-            if (NoProxy) req.Proxy = null;
+            if (NoProxy)
+            {
+                req.Proxy = null;
+            }
+            else if (UseProxyAddress != "")
+            {
+                WebProxy proxy = new WebProxy(UseProxyAddress);
+                //proxy.Credentials = new NetworkCredential(username, password);
+                req.Proxy = proxy;
+            }
             req.Headers.Add("Accept-Encoding", "gzip, deflate");
             req.Accept = "*/*";
             req.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36";
@@ -515,6 +545,8 @@ namespace N_m3u8DL_CLI
         /// </summary>
         public static void HttpDownloadFile(string url, string path, int timeOut = 20000, string headers = "", long startByte = 0, long expectByte = -1)
         {
+            int retry = 0;
+            reDownload:
             try
             {
                 if (File.Exists(path))
@@ -529,7 +561,16 @@ namespace N_m3u8DL_CLI
                 request.AllowAutoRedirect = false; //手动处理重定向，否则会丢失Referer
                 request.KeepAlive = false;
                 request.Method = "GET";
-                if (NoProxy) request.Proxy = null;
+                if (NoProxy)
+                {
+                    request.Proxy = null;
+                }
+                else if (UseProxyAddress != "")
+                {
+                    WebProxy proxy = new WebProxy(UseProxyAddress);
+                    //proxy.Credentials = new NetworkCredential(username, password);
+                    request.Proxy = proxy;
+                }
                 if (url.Contains("data.video.iqiyi.com"))
                     request.UserAgent = "QYPlayer/Android/4.4.5;NetType/3G;QTP/1.1.4.3";
                 else if (url.Contains("pcvideo") && url.Contains(".titan.mgtv.com"))
@@ -539,6 +580,10 @@ namespace N_m3u8DL_CLI
                         request.Referer = "https://www.mgtv.com";
                     request.Headers.Add("Cookie", "MQGUID");
                 }
+                else if (url.Contains(".xboku.com/")) //独播库
+                {
+                    request.Referer = "https://my.duboku.vip/static/player/videojs.html";
+                }
                 else
                     request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36";
                 //下载部分字节
@@ -632,6 +677,12 @@ namespace N_m3u8DL_CLI
             {
                 LOGGER.WriteLineError("DOWN: " + e.Message + " " + url);
                 try { File.Delete(path); } catch (Exception) { }
+                if (retry++ < 3)
+                {
+                    Thread.Sleep(1000);
+                    LOGGER.WriteLineError($"DOWN: AUTO RETRY {retry}/3 " + url);
+                    goto reDownload;
+                }
             }
         }
 
@@ -664,13 +715,13 @@ namespace N_m3u8DL_CLI
             }
             else if (137 == u[0] && 80 == u[1] && 78 == u[2] && 71 == u[3])
             {
-                //确定是PNG但是需要手动查询结尾标记(0x60 0x82 0x47)
+                //确定是PNG但是需要手动查询结尾标记 0x47 出现两次
                 int skip = 0;
-                for (int i = 4; i < u.Length - 3; i++)
+                for (int i = 4; i < u.Length - 188 * 2; i++)
                 {
-                    if (u[i] == 0x60 && u[i + 1] == 0x82 && u[i + 2] == 0x47)
+                    if (u[i] == 0x47 && u[i + 188] == 0x47 && u[i + 188 + 188] == 0x47)
                     {
-                        skip = i + 2;
+                        skip = i;
                         break;
                     }
                 }
@@ -1106,7 +1157,16 @@ namespace N_m3u8DL_CLI
             protected override WebRequest GetWebRequest(Uri address)
             {
                 var wr = (HttpWebRequest)base.GetWebRequest(address);
-                if (NoProxy) wr.Proxy = null;
+                if (NoProxy)
+                {
+                    wr.Proxy = null;
+                }
+                else if (UseProxyAddress != "")
+                {
+                    WebProxy proxy = new WebProxy(UseProxyAddress);
+                    //proxy.Credentials = new NetworkCredential(username, password);
+                    wr.Proxy = proxy;
+                }
                 if (setRange)
                     wr.AddRange(this.from, this.to);
                 if (setTimeout)

N_m3u8DL-CLI/MPDParser.cs

@@ -4,6 +4,7 @@ using System;
 using System.Collections.Generic;
 using System.IO;
 using System.Linq;
+using System.Net;
 using System.Text;
 using System.Text.RegularExpressions;
 using System.Threading.Tasks;
@@ -216,7 +217,7 @@ namespace N_m3u8DL_CLI
                                 {
                                     mpdBaseUrl += "/";
                                 }
-                                baseUrl = mpdBaseUrl + baseUrl;
+                                baseUrl = CombineURL(mpdBaseUrl, baseUrl);
                             }
                             var representationId = GetAttribute("id");
                             var lang = GetAttribute("lang");
@@ -520,6 +521,7 @@ namespace N_m3u8DL_CLI
                     return $"{type} => {id}{tbr}{asr}{fps}{lang}{codecs}{res}";
                 }
 
+                var startCursorIndex = LOGGER.CursorIndex;
                 for (int i = 0; i < formatList.Count; i++)
                 {
                     Console.WriteLine("".PadRight(13) + $"[{i.ToString().PadLeft(2)}]. {Stringify(formatList[i])}");
@@ -531,6 +533,12 @@ namespace N_m3u8DL_CLI
                 var input = Console.ReadLine();
                 LOGGER.CursorIndex += 2;
                 Console.CursorVisible = false;
+                for (int i = startCursorIndex; i < LOGGER.CursorIndex; i++)
+                {
+                    Console.SetCursorPosition(0, i);
+                    Console.Write("".PadRight(300));
+                }
+                LOGGER.CursorIndex = startCursorIndex;
                 if (!string.IsNullOrEmpty(input))
                 {
                     bestVideo = new Dictionary<string, dynamic>() { ["Tbr"] = 0 };
@@ -606,7 +614,7 @@ namespace N_m3u8DL_CLI
             }
 
             var content = "";
-            if (videoPath == "" && audioPath != "")
+            if ((videoPath == "" && audioPath != "") || Global.VIDEO_TYPE == "IGNORE")
             {
                 return audioPath;
             }
@@ -667,8 +675,41 @@ namespace N_m3u8DL_CLI
             }
             sb.AppendLine("#EXT-X-KEY:METHOD=PLZ-KEEP-RAW,URI=\"None\""); //使下载器使用二进制合并
 
+            List<Dictionary<string, dynamic>> fragments = f["Fragments"];
+
+            //检测最后一片的有效性
+            if (fragments.Count > 1)
+            {
+                bool checkValid(string url)
+                {
+                    try
+                    {
+                        HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(new Uri(url));
+                        request.Timeout = 120000;
+                        HttpWebResponse response = (HttpWebResponse)request.GetResponse();
+                        if (((int)response.StatusCode).ToString().StartsWith("2")) return true;
+                        else return false;
+                    }
+                    catch (Exception) { return false; }
+                }
+
+                var last = fragments.Last();
+                var secondToLast = fragments[fragments.Count - 2];
+                var urlLast = last.ContainsKey("url") ? last["url"] : last["path"];
+                var urlSecondToLast = secondToLast.ContainsKey("url") ? secondToLast["url"] : secondToLast["path"];
+                //普通分段才判断
+                if (urlLast.StartsWith("http") && !Regex.IsMatch(urlLast, "\\$\\$Range=(\\d+)-(\\d+)"))
+                {
+                    LOGGER.PrintLine(strings.checkingLast + (f["ContentType"] != "audio" ? "(Video)" : "(Audio)"));
+                    LOGGER.WriteLine(strings.checkingLast + (f["ContentType"] != "audio" ? "(Video)" : "(Audio)"));
+                    //倒数第二段正常，倒数第一段不正常
+                    if (checkValid(urlSecondToLast) && !checkValid(urlLast))
+                        fragments.RemoveAt(fragments.Count - 1);
+                }
+            }
+
             //添加分段
-            foreach (var seg in f["Fragments"])
+            foreach (var seg in fragments)
             {
                 var dur = seg.ContainsKey("duration") ? seg["duration"] : 0.0;
                 var url = seg.ContainsKey("url") ? seg["url"] : seg["path"];

N_m3u8DL-CLI/Program.cs

@@ -178,6 +178,12 @@ namespace N_m3u8DL_CLI.NetCore
                 {
                     Global.NoProxy = true;
                 }
+                if (arguments.Has("--proxyAddress"))
+                {
+                    var proxy = arguments.Get("--proxyAddress").Next.ToString();
+                    if (proxy.StartsWith("http://"))
+                        Global.UseProxyAddress = proxy;
+                }
                 if (arguments.Has("--headers"))
                 {
                     reqHeaders = arguments.Get("--headers").Next;

N_m3u8DL-CLI/changelog.txt

@@ -308,4 +308,33 @@
   - 支持解密虎课网
 2021年1月18日
   - 完善MPD下载相关
-  - 重新打包多语言资源
+  - 重新打包多语言资源
+2021年1月24日
+  - 适配Disney+资源
+  - MPD选择流行为优化
+  - 修复二进制合并时vtt字幕被合并为ts后缀问题
+2021年2月1日
+  - 修正自定义KEY且存在IV时的隐患
+  - 优化跳过PNG Header的算法
+2021年2月2日
+  - 独播库自动加入referer
+  - 修复气球云
+2021年2月10日
+  - 修正MPD拼接BaseUrl逻辑
+2021年2月11日
+  - 将CNTV视频修改为未加密链接
+2021年2月21日
+  - MPD检测最后一个分片是否有效
+2021年2月22日
+  - 添加用户网络代理支持，使用--proxyAddress指定代理地址。（@evanlabs）
+2021年3月3日
+  - 修复M3U8选择音轨/字幕不生效问题
+  - 外挂音轨时enableAudioOnly可仅下载音频
+  - 移除气球云支持
+2021年3月15日
+  - 修复enableAudioOnly且下载MPD文件时留下冗余(Audio)文件夹的情况
+2021年3月22日
+  - 适配AppleTv资源
+2021年3月25日
+  - 优化下载监控
+  - 为下载分片增加了自动重试机制(3次)

N_m3u8DL-CLI/strings.Designer.cs

@@ -47,8 +47,8 @@ namespace N_m3u8DL_CLI {
         }
         
         /// <summary>
-        ///   重写当前线程的 CurrentUICulture 属性
-        ///   重写当前线程的 CurrentUICulture 属性。
+        ///   重写当前线程的 CurrentUICulture 属性，对
+        ///   使用此强类型资源类的所有资源查找执行重写。
         /// </summary>
         [global::System.ComponentModel.EditorBrowsableAttribute(global::System.ComponentModel.EditorBrowsableState.Advanced)]
         internal static global::System.Globalization.CultureInfo Culture {
@@ -69,6 +69,15 @@ namespace N_m3u8DL_CLI {
             }
         }
         
+        /// <summary>
+        ///   查找类似 正在判断尾分片是否有效... 的本地化字符串。
+        /// </summary>
+        internal static string checkingLast {
+            get {
+                return ResourceManager.GetString("checkingLast", resourceCulture);
+            }
+        }
+        
         /// <summary>
         ///   查找类似 已关闭完整性检查 的本地化字符串。
         /// </summary>
@@ -493,6 +502,15 @@ namespace N_m3u8DL_CLI {
             }
         }
         
+        /// <summary>
+        ///   查找类似 开始解析MPD内容... 的本地化字符串。
+        /// </summary>
+        internal static string startParsingMpd {
+            get {
+                return ResourceManager.GetString("startParsingMpd", resourceCulture);
+            }
+        }
+        
         /// <summary>
         ///   查找类似 重新解析m3u8... 的本地化字符串。
         /// </summary>

N_m3u8DL-CLI/strings.en-US.resx

@@ -201,6 +201,7 @@
     --downloadRange Range       Set range for a video
     --stopSpeed  Number         Speed below this, retry(KB/s)
     --maxSpeed   Number         Set max download speed(KB/s)
+    --proxyAddress http://xx    Set HTTP Proxy, like http://127.0.0.1:8080
     --enableDelAfterDone        Enable delete clips after download completed
     --enableMuxFastStart        Enable fast start for mp4
     --enableBinaryMerge         Enable use binary merge instead ffmpeg
@@ -298,4 +299,10 @@
   <data name="wrtingMeta" xml:space="preserve">
     <value>Writing Json: [meta.json]</value>
   </data>
+  <data name="startParsingMpd" xml:space="preserve">
+    <value>Start Parsing MPD Content...</value>
+  </data>
+  <data name="checkingLast" xml:space="preserve">
+    <value>Checking Whether The Last Fragment Is Valid...</value>
+  </data>
 </root>

N_m3u8DL-CLI/strings.resx

@@ -202,6 +202,7 @@
     --liveRecDur HH:MM:SS       直播录制时，达到此长度自动退出软件
     --stopSpeed  Number         当速度低于此值时，重试(单位为KB/s)
     --maxSpeed   Number         设置下载速度上限(单位为KB/s)
+    --proxyAddress http://xx    设置HTTP代理, 如 http://127.0.0.1:8080
     --enableDelAfterDone        开启下载后删除临时文件夹的功能
     --enableMuxFastStart        开启混流mp4的FastStart特性
     --enableBinaryMerge         开启二进制合并分片
@@ -299,4 +300,10 @@
   <data name="wrtingMeta" xml:space="preserve">
     <value>写出meta.json</value>
   </data>
+  <data name="startParsingMpd" xml:space="preserve">
+    <value>开始解析MPD内容...</value>
+  </data>
+  <data name="checkingLast" xml:space="preserve">
+    <value>正在判断尾分片是否有效...</value>
+  </data>
 </root>

N_m3u8DL-CLI/strings.zh-TW.resx

@@ -202,6 +202,7 @@
     --liveRecDur HH:MM:SS       直播錄制時，達到此長度自動退出軟件
     --stopSpeed  Number         當速度低於此值時，重試(單位為KB/s)
     --maxSpeed   Number         設置下載速度上限(單位為KB/s)
+    --proxyAddress http://xx    設置HTTP代理, 如 http://127.0.0.1:8080
     --enableDelAfterDone        開啟下載後刪除臨時文件夾的功能
     --enableMuxFastStart        開啟混流mp4的FastStart特性
     --enableBinaryMerge         開啟二進制合並分片
@@ -299,4 +300,10 @@
   <data name="wrtingMeta" xml:space="preserve">
     <value>寫出meta.json</value>
   </data>
+  <data name="startParsingMpd" xml:space="preserve">
+    <value>開始解析MPD內容...</value>
+  </data>
+  <data name="checkingLast" xml:space="preserve">
+    <value>正在判斷尾分片是否有效...</value>
+  </data>
 </root>

README.md

@@ -18,15 +18,14 @@
 本项目已与2019年10月9日开源，采用MIT许可证，各取所需。
 
 # 关于跨平台
-~~本项目已通过`.NET Core`实现跨平台，理论支持Mac、Linux、Windows等平台，请移步：https://github.com/nilaoda/N_m3u8DL-CLI_Core~~
-
-暂时放弃跨平台（很多API需要重写才能实现功能，日后有空再维护）
+搁置了
 
 # N_m3u8DL-CLI
 一个**简单易用的**m3u8下载器，下载地址：https://github.com/nilaoda/N_m3u8DL-CLI/releases  
 
 支持下载m3u8链接或文件为`mp4`或`ts`格式，并提供丰富的命令行选项。
   * **不支持**优酷视频解密
+  * **不支持**气球云视频解密
   * 支持`AES-128-CBC`加密自动解密
   * 支持多线程下载
   * 支持下载限速
@@ -39,7 +38,8 @@
   * 支持下载路径为网络驱动器的情况
   * 支持下载外挂字幕轨道、音频轨道
   * 支持仅合并为音频
-  * 自动使用系统代理（可禁止）
+  * 支持设置特定http代理
+  * 支持自动使用系统代理（默认行为, 可禁止）
   * 提供SimpleG简易的`GUI`生成常用参数
 
 
@@ -48,7 +48,7 @@
 
 # 命令行选项
 ```
-N_m3u8DL-CLI.exe <URL|JSON|FILE> [OPTIONS]  
+N_m3u8DL-CLI.exe <URL|File|JSON> [OPTIONS]  
 
     --workDir    Directory      设定程序工作目录
     --saveName   Filename       设定存储文件名(不包括后缀)
@@ -66,6 +66,7 @@ N_m3u8DL-CLI.exe <URL|JSON|FILE> [OPTIONS]
     --liveRecDur HH:MM:SS       直播录制时，达到此长度自动退出软件
     --stopSpeed  Number         当速度低于此值时，重试(单位为KB/s)
     --maxSpeed   Number         设置下载速度上限(单位为KB/s)
+    --proxyAddress http://xx    设置HTTP代理, 如 http://127.0.0.1:8080
     --enableDelAfterDone        开启下载后删除临时文件夹的功能
     --enableMuxFastStart        开启混流mp4的FastStart特性
     --enableBinaryMerge         开启二进制合并分片
@@ -81,4 +82,4 @@ N_m3u8DL-CLI.exe <URL|JSON|FILE> [OPTIONS]
 https://nilaoda.github.io/N_m3u8DL-CLI/
 
 # 赞赏
-https://nilaoda.github.io/N_m3u8DL-CLI/source/images/alipay.png
+![Wow](https://nilaoda.github.io/N_m3u8DL-CLI/source/images/alipay.png)

README_ENG.md

@@ -20,7 +20,7 @@ Supports:
   * Network driver on Windows OS
   * Alternative audio/video track
   * Mux without video track
-  * Auto use system proxy
+  * Costom HTTP proxy or Use system proxy
   * Optimization for Chinese streaming platform
   
   ![ScreenShot](https://nilaoda.github.io/N_m3u8DL-CLI/source/images/%E7%9B%B4%E6%8E%A5%E4%BD%BF%E7%94%A8.gif)  
@@ -47,6 +47,7 @@ N_m3u8DL-CLI.exe <URL|JSON|FILE> [OPTIONS]
     --downloadRange Range       Set range for a video
     --stopSpeed  Number         Speed below this, retry(KB/s)
     --maxSpeed   Number         Set max download speed(KB/s)
+    --proxyAddress http://xx    Set HTTP Proxy, like http://127.0.0.1:8080
     --enableDelAfterDone        Enable delete clips after download completed
     --enableMuxFastStart        Enable fast start for mp4
     --enableBinaryMerge         Enable use binary merge instead ffmpeg