Merge branch 'master' into feature/docker-container

Author: gentslava

AppInit.cs

@@ -72,9 +72,11 @@ public static AppInit conf
 
         public string[] synctrackers = null;
 
+        public string[] disable_trackers = new string[] { "hdrezka", "anifilm" };
+
         public bool syncsport = true;
 
-        public bool syncspidr = false;
+        public bool syncspidr = true;
 
         public int maxreadfile = 200;
 

Controllers/ApiController.cs

@@ -13,6 +13,7 @@
 using JacRed.Models.Details;
 using JacRed.Models.Tracks;
 using JacRed.Models.Api;
+using Microsoft.AspNetCore.Http;
 
 namespace JacRed.Controllers
 {
@@ -24,6 +25,30 @@ public ActionResult Index()
             return File(System.IO.File.OpenRead("wwwroot/index.html"), "text/html");
         }
 
+        [Route("health")]
+        public IActionResult Health()
+        {
+            return Json(new Dictionary<string, string>
+            {
+                ["status"] = "OK"
+            });
+        }
+
+        [Route("version")]
+        public ActionResult Version() 
+        {
+            return Content("11", contentType: "text/plain; charset=utf-8");
+        }
+
+        [Route("lastupdatedb")]
+        public ActionResult LastUpdateDB() 
+        {
+            if (FileDB.masterDb == null || FileDB.masterDb.Count == 0)
+                return Content("01.01.2000 01:01", contentType: "text/plain; charset=utf-8");
+
+            return Content(FileDB.masterDb.OrderByDescending(i => i.Value.updateTime).First().Value.updateTime.ToString("dd.MM.yyyy HH:mm"), contentType: "text/plain; charset=utf-8");
+        }
+
         [Route("api/v1.0/conf")]
         public JsonResult JacRedConf(string apikey)
         {
@@ -107,6 +132,9 @@ void AddTorrents(TorrentDetails t)
                 if (AppInit.conf.synctrackers != null && !AppInit.conf.synctrackers.Contains(t.trackerName))
                     return;
 
+                if (AppInit.conf.disable_trackers != null && AppInit.conf.disable_trackers.Contains(t.trackerName))
+                    return;
+
                 if (torrents.TryGetValue(t.url, out TorrentDetails val))
                 {
                     if (t.updateTime > val.updateTime)
@@ -665,6 +693,9 @@ void AddTorrents(TorrentDetails t)
                 if (AppInit.conf.synctrackers != null && !AppInit.conf.synctrackers.Contains(t.trackerName))
                     return;
 
+                if (AppInit.conf.disable_trackers != null && AppInit.conf.disable_trackers.Contains(t.trackerName))
+                    return;
+
                 if (torrents.TryGetValue(t.url, out TorrentDetails val))
                 {
                     if (t.updateTime > val.updateTime)
@@ -793,6 +824,102 @@ void AddTorrents(TorrentDetails t)
         }
         #endregion
 
+        #region Qualitys
+        [Route("/api/v1.0/qualitys")]
+        public JsonResult Qualitys(string name, string originalname, string type, int page = 1, int take = 1000)
+        {
+            var torrents = new Dictionary<string, Dictionary<int, Models.TorrentQuality>>();
+
+            #region AddTorrents
+            void AddTorrents(TorrentDetails t)
+            {
+                if (t?.types == null || t.types.Contains("sport") || t.relased == 0)
+                    return;
+
+                if (!string.IsNullOrEmpty(type) && !t.types.Contains(type))
+                    return;
+
+                string key = $"{StringConvert.SearchName(t.name)}:{StringConvert.SearchName(t.originalname)}";
+
+                var langs = t.languages;
+
+                if (t.ffprobe != null || !AppInit.conf.tracks)
+                    langs = TracksDB.Languages(t, t.ffprobe);
+                else
+                {
+                    var streams = TracksDB.Get(t.magnet, t.types);
+                    langs = TracksDB.Languages(t, streams ?? t.ffprobe);
+                }
+
+                var model = new Models.TorrentQuality() 
+                {
+                    types = t.types.ToHashSet(),
+                    createTime = t.createTime,
+                    updateTime = t.updateTime,
+                    languages = langs ?? new HashSet<string>(),
+                    qualitys = new HashSet<int>() { t.quality }
+                };
+
+                if (torrents.TryGetValue(key, out Dictionary<int, Models.TorrentQuality> val))
+                {
+                    if (val.TryGetValue(t.relased, out Models.TorrentQuality _md))
+                    {
+                        if (langs != null)
+                        {
+                            foreach (var item in langs)
+                                _md.languages.Add(item);
+                        }
+
+                        if (t.types != null)
+                        {
+                            foreach (var item in t.types)
+                                _md.types.Add(item);
+                        }
+
+                        _md.qualitys.Add(t.quality);
+
+                        if (_md.createTime > t.createTime)
+                            _md.createTime = t.createTime;
+
+                        if (t.updateTime > _md.updateTime)
+                            _md.updateTime = t.updateTime;
+
+                        val[t.relased] = _md;
+                    }
+                    else
+                    {
+                        val.TryAdd(t.relased, model);
+                    }
+
+                    torrents[key] = val;
+                }
+                else
+                {
+                    torrents.TryAdd(key, new Dictionary<int, Models.TorrentQuality>() { [t.relased] = model });
+                }
+            }
+            #endregion
+
+            string _s = StringConvert.SearchName(name);
+            string _so = StringConvert.SearchName(originalname);
+
+            var mdb = FileDB.masterDb.OrderByDescending(i => i.Value.updateTime).Where(i => (_s == null && _so == null) || (_s != null && i.Key.Contains(_s)) || (_so != null && i.Key.Contains(_so)));
+            if (!AppInit.conf.evercache.enable || AppInit.conf.evercache.validHour > 0)
+                mdb = mdb.Take(AppInit.conf.maxreadfile);
+
+            foreach (var val in mdb)
+            {
+                foreach (var t in FileDB.OpenRead(val.Key, true).Values)
+                    AddTorrents(t);
+            }
+
+            if (take == -1)
+                return Json(torrents);
+
+            return Json(torrents.Skip((page * take) - take).Take(take));
+        }
+        #endregion
+
 
         #region getFastdb
         static Dictionary<string, List<string>> _fastdb = null;

Controllers/CRON/MegapeerController.cs

@@ -80,11 +80,14 @@ async public Task<string> UpdateTasksParse()
                     continue;
 
                 // Максимальное количиство страниц
-                int.TryParse(Regex.Match(html, ">Всего: ([0-9]+)</td>").Groups[1].Value, out int maxpages);
+                int.TryParse(Regex.Match(html, ">Всего: ([0-9]+)").Groups[1].Value, out int maxpages);
                 maxpages = maxpages / 50;
 
                 if (maxpages > 0)
                 {
+                    if (maxpages > 10)
+                        maxpages = 10;
+
                     // Загружаем список страниц в список задач
                     for (int page = 0; page < maxpages; page++)
                     {
@@ -162,7 +165,7 @@ async Task<bool> parsePage(string cat, int page)
 
             var torrents = new List<MegapeerDetails>();
 
-            foreach (string row in html.Split("class=\"tCenter hl-tr\"").Skip(1))
+            foreach (string row in html.Split("class=\"table_fon\"").Skip(1))
             {
                 #region Локальный метод - Match
                 string Match(string pattern, int index = 1)
@@ -174,21 +177,24 @@ string Match(string pattern, int index = 1)
                 #endregion
 
                 #region createTime
-                DateTime createTime = tParse.ParseCreateTime(Match("<span>Добавлен:</span> ([0-9]+ [^ ]+ [0-9]+)"), "dd.MM.yyyy");
+                DateTime createTime = tParse.ParseCreateTime(Match("<td>([0-9]+ [^ ]+ [0-9]+)</td><td>"), "dd.MM.yy");
                 if (createTime == default)
                     continue;
                 #endregion
 
                 #region Данные раздачи
-                string url = Match("href=\"/(torrent/[0-9]+)\"");
-                string title = Match("class=\"med tLink hl-tags bold\" [^>]+>([^\n\r]+)</a>");
-                title = Regex.Replace(title, "<[^>]+>", "");
+                string url = Match("href=\"/(torrent/[0-9]+)");
+                string title = Match("class=\"url\">([^<]+)</a></td>");
+                //title = Regex.Replace(title, "<[^>]+>", "");
 
-                string sizeName = Match("href=\"download/[0-9]+\">([\n\r\t ]+)?([^<\n\r]+)<", 2).Trim();
+                string sizeName = Match("<td align=\"right\">([^<\n\r]+)", 1).Trim();
 
                 if (string.IsNullOrWhiteSpace(title))
                     continue;
 
+                string _sid = Match("alt=\"S\"><font [^>]+>([0-9]+)</font>", 1);
+                string _pir = Match("alt=\"L\"><font [^>]+>([0-9]+)</font>", 1);
+
                 url = $"{AppInit.conf.Megapeer.host}/{url}";
                 #endregion
 
@@ -382,13 +388,17 @@ string Match(string pattern, int index = 1)
                     if (string.IsNullOrWhiteSpace(downloadid))
                         continue;
 
+                    int.TryParse(_sid, out int sid);
+                    int.TryParse(_pir, out int pir);
+
                     torrents.Add(new MegapeerDetails()
                     {
                         trackerName = "megapeer",
                         types = types,
                         url = url,
                         title = title,
-                        sid = 1,
+                        sid = sid,
+                        pir = pir,
                         sizeName = sizeName,
                         createTime = createTime,
                         name = name,

JacRed.csproj

@@ -35,7 +35,7 @@
   </ItemGroup>
 
   <ItemGroup>
-    <RuntimeHostConfigurationOption Include="System.GC.HeapCount" Value="60" />
+    <!--<RuntimeHostConfigurationOption Include="System.GC.HeapCount" Value="60" />-->
     <!--<RuntimeHostConfigurationOption Include="System.GC.HeapHardLimit" Value="600000000" />-->
   </ItemGroup>
 

Models/TorrentQuality.cs

@@ -0,0 +1,19 @@
+using System;
+using System.Collections.Generic;
+
+namespace JacRed.Models
+{
+    public class TorrentQuality
+    {
+        public HashSet<int> qualitys { get; set; } = new HashSet<int>();
+
+        public HashSet<string> types { get; set; } = new HashSet<string>();
+
+        public HashSet<string> languages { get; set; } = new HashSet<string>();
+
+
+        public DateTime createTime { get; set; }
+
+        public DateTime updateTime { get; set; }
+    }
+}

README.md

@@ -43,13 +43,15 @@ services:
 
 ```
 
-# Настройка парсера
+* ПО УМОЛЧАНИЯ НАСТРОЕНА СИНХРОНИЗАЦИЯ БАЗЫ С ВНЕШНЕГО СЕРВЕРА
+
+# Источники 
+Kinozal, Nnmclub, Rutor, Torrentby, Bitru, Rutracker, Megapeer, Selezen, Toloka (UKR), Baibako, LostFilm, Anilibria, Animelayer
+
+# Самостоятельный парсинг источников
 1. Настроить init.conf (пример настроек в example.conf)
 2. Перенести в crontab "Data/crontab" или указать сервер "syncapi" в init.conf
 
-# Источники
-Kinozal, Nnmclub, Rutor, Torrentby, Bitru, Rutracker, Megapeer, Selezen, Toloka (UKR), Rezka, Baibako, LostFilm, Anilibria, Animelayer, Anifilm
-
 # Доступ к доменам .onion
 1. Запустить tor на порту 9050
 2. В init.conf указать .onion домен в host
@@ -63,11 +65,10 @@ Kinozal, Nnmclub, Rutor, Torrentby, Bitru, Rutracker, Megapeer, Selezen, Toloka
 * timeSync - интервал синхронизации с базой syncapi
 * maxreadfile - максимальное количество открытых файлов за один поисковый запрос
 * evercache - хранить открытые файлы в кеше (рекомендуется для общего доступа с высокой нагрузкой)
-* fdbPathLevels - для релиза 25.01.2023 установить в 1
-* timeStatsUpdate - интервал обновления статистики в минутах
+* timeStatsUpdate - интервал обновления статистики в минутах 
 
 
-# Настройка init.conf
+# Пример init.conf
 * Список всех параметров, а так же значения по умолчанию смотреть в example.conf
 * В init.conf нужно указывать только те параметры, которые хотите изменить
 

Startup.cs

@@ -61,11 +61,12 @@ public void Configure(IApplicationBuilder app)
 
             app.UseRouting();
             app.UseResponseCompression();
-            app.UseModHeaders();
 
             if (AppInit.conf.web)
                 app.UseStaticFiles();
 
+            app.UseModHeaders();
+
             app.UseEndpoints(endpoints =>
             {
                 endpoints.MapControllers();

install.sh

@@ -15,9 +15,15 @@ source ~/.bashrc
 # Download zip
 mkdir $DEST -p && cd $DEST
 wget https://github.com/immisterio/jacred-fdb/releases/latest/download/publish.zip
-unzip -o publish.zip
+unzip -oq publish.zip
 rm -f publish.zip
 
+# Download database
+wget http://redb.cfhttp.top/latest.zip
+echo "Unpacking the database"
+unzip -oq latest.zip
+rm -f latest.zip
+
 # Create service
 echo ""
 echo "Install service to /etc/systemd/system/jacred.service ..."