WebSVN – checksum-tools – Diff – /trunk/PHP/sfv_verify.php

 #!/usr/bin/php
 <?php
 /*
    Copyright 2020 Daniel Marschall, ViaThinkSoft
    Licensed under the Apache License, Version 2.0 (the "License");
    you may not use this file except in compliance with the License.
    You may obtain a copy of the License at
        http://www.apache.org/licenses/LICENSE-2.0
    Unless required by applicable law or agreed to in writing, software
    distributed under the License is distributed on an "AS IS" BASIS,
    WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    See the License for the specific language governing permissions and
    limitations under the License.
 */
 // TODO: make use of STDERR and return different exit codes
+// TODO: On Windows file systems, accept file names case insensitively
+function utf8_normalize($str) {
+        // This helps to handle decomposite Unicode endpoints (E.g. German Umlauts have different representations)
+        // Requires php-intl
+        if (!class_exists('Normalizer')) return $str;
+        return Normalizer::normalize($str);
+}
+function convertToUTF8($str) {
+        $enc = mb_detect_encoding($str);
+        if ($enc && $enc != 'UTF-8') {
+                return iconv($enc, 'UTF-8', $str);
+        } else {
+                return $str;
+        }
+}
 function testsfv($file) {
         // TODO: warn if an entry is multiple times (with different checksums) in a single file
         if (!file_exists($file)) {
                 echo "ERROR: File $file does not exist.\n";
                 return;
+        }
+        $files_checked = array();
         $lines = file($file);
         $is_first_line = true;
         $force_utf8 = false;
         foreach ($lines as $line) {
                 if ($is_first_line) {
                         $tmp = 0;
                         $line = str_replace("\xEF\xBB\xBF",'',$line,$tmp);
                         if ($tmp > 0) $force_utf8 = true;
                         $is_first_line = false;
+                }
-                $is_ansi = strstr(utf8_decode($line),'?') !== false; // Attention: This assumes that '?' is not part of the line!
+                if (!$force_utf8) $line = convertToUTF8($line);
-                if (!$force_utf8 && $is_ansi) $line = utf8_encode($line);
+                if (substr(trim($line),0,1) == ';') continue;
                 $line = rtrim($line);
                 if ($line == '') continue;
                 $checksum = substr($line,-8);
                 $origname = rtrim(substr($line,0,strlen($line)-8));
-                $origname = dirname($file) . '/' . trim($origname);
+                $origname = dirname($file) . '/' . rtrim($origname);
                 if (!file_exists($origname)) {
                         echo "WARNING: File vanished : $origname\n";
                 } else {
+                        if (is_file($origname)) {
-                        $checksum2 = crc32_file($origname);
+                                $checksum2 = crc32_file($origname);
-                        if (strtolower($checksum) != strtolower($checksum2)) {
+                                if (strtolower($checksum) != strtolower($checksum2)) {
-                                echo "CHECKSUM FAIL: $origname (expected $checksum, but is $checksum2)\n";
+                                        echo "CHECKSUM FAIL: $origname (expected $checksum, but is $checksum2)\n";
-                        } else {
+                                } else {
-                                global $show_verbose;
+                                        global $show_verbose;
-                                if ($show_verbose) echo "OK: $origname\n";
+                                        if ($show_verbose) echo "OK: $origname\n";
+                                }
+                        } else {
+                                // For some reason, some files on a NTFS volume are "FIFO" pipe files?!
+                                echo "Warning: $origname is not a regular file!\n";
+                        }
+                }
+                $origname = utf8_normalize(basename($origname));
+                $files_checked[] = dirname($file) . '/' . $origname;
+        }
+        // Now check if files have vanished!
+        $directory = dirname($file);
+        $sd = @scandir($directory);
+        if ($sd === false) {
+                echo "Error: Cannot scan directory $directory\n";
+        } else {
+                foreach ($sd as $file) {
+                        if ($file === '.') continue;
+                        if ($file === '..') continue;
+                        if (strtolower($file) === 'thumbs.db') continue;
+                        if (strtolower(substr($file, -4)) === '.md5') continue;
+                        if (strtolower(substr($file, -4)) === '.sfv') continue;
+                        $fullpath = $directory . '/' . $file;
+                        if (!is_dir($fullpath)) {
+                                $fullpath = utf8_normalize($fullpath);
+                                if (!in_array($fullpath,$files_checked)) {
+                                        echo "Warning: File not in SFV checksum file: $fullpath\n";
+                                }
+                        }
+                }
-                // TODO: Also warn about extra files which are not indexed
+        }
+}
 function swapEndianness($hex) {
         return implode('', array_reverse(str_split($hex, 2)));
+}
 function crc32_file($filename, $rawOutput = false) {
         $out = bin2hex(hash_file ('crc32b', $filename , true));
         if (hash('crc32b', 'TEST') == 'b893eaee') {
                 // hash_file() in PHP 5.2 has the wrong Endianess!
                 // https://bugs.php.net/bug.php?id=47467
                 $out = swapEndianness($out);
+        }
         return $out;
+}
 function _rec($directory) {
         $directory = rtrim($directory, '/\\');
         if (!is_dir($directory)) {
                 exit("Invalid directory path $directory\n");
+        }
         if ($dont_add_files = count(glob("$directory/*.sfv")) == 0) {
                 global $show_verbose;
                 if ($show_verbose) echo "Directory $directory has no SFV file. Skipping.\n";
         } else {
                 $out = array();
                 global $show_verbose;
                 if ($show_verbose) echo "Check directory $directory\n";
                 $sfvfiles = glob($directory.'/*.sfv');
                 foreach ($sfvfiles as $sfvfile) {
                         testsfv($sfvfile);
+                }
+        }
         $sd = @scandir($directory);
         if ($sd === false) {
                 echo "Error: Cannot scan directory $directory\n";
                 return;
+        }
         foreach ($sd as $file) {
                 if ($file !== '.' && $file !== '..') {
                         $file = $directory . '/' . $file;
                         if (is_dir($file)) {
                                 _rec($file);
+                        }
+                }
+        }
+}
 # ---
 $show_verbose = false;
 $dir = '';
 for ($i=1; $i<$argc; $i++) {
         if ($argv[$i] == '-v') {
                 $show_verbose = true;
         } else {
                 $dir = $argv[$i];
+        }
+}
 if (empty($dir)) {
         echo "Syntax: $argv[0] [-v] <directory>\n";
         exit(2);
+}
 if (!is_dir($dir)) {
         echo "Directory not found\n";
         exit(1);
+}
 _rec($dir);
 if ($show_verbose) echo "Done.\n";

Subversion Repositories checksum-tools

checksum-tools/trunk/PHP/sfv_verify.php – Rev 4 → 5