Yes - that would suffice, and would only need to output the duplicate verses
each with the reference.
It could be something we make available as a standard tool just like emptyvss.
We could even call it dupvss.
Or we might add it as a special option in diatheke
David
Sent from ProtonMail Mobile
On Tue, Feb 2, 2021 at 19:32, ref...@gmx.net <ref...@gmx.net> wrote:
> There is none, but one could imagine a simple iteration across the module
> comparing the current verse and verse + 1 and cause an error message if equal
> content. Would that be good enough for your purposes?
>
> Peter
>
> Sent from my mobile. Please forgive shortness, typos and weird autocorrects.
>
> -------- Original Message --------
> Subject: [sword-devel] Detecting duplicate verses in [beta] modules?
> From: David Haslam
> To: sword-devel mailing list
> CC:
>
>> Is there a simple Sword tool that could be used to detect & locate issues of
>> duplicate verse text clusters due to an upstream error?
>>
>> Here's an example from the current iteration of the UrduGeo module in
>> CrossWire Beta.
>>
>> eg. Numbers 7 contains six clusters of verses each with identical verse text.
>>
>> Numbers 7:1: جس دن مقدِس مکمل ہوا اُسی دن موسیٰ نے اُسے مخصوص و مُقدّس کیا۔
>> اِس کے لئے اُس نے خیمے، اُس کے تمام سامان، قربان گاہ اور اُس کے تمام سامان
>> پر تیل چھڑکا۔
>> Numbers 7:2: پھر قبیلوں کے بارہ سردار مقدِس کے لئے ہدیئے لے کر آئے۔ یہ وہی
>> راہنما تھے جنہوں نے مردم شماری کے وقت موسیٰ کی مدد کی تھی۔ اُنہوں نے چھت
>> والی چھ بَیل گاڑیاں اور بارہ بَیل خیمے کے سامنے رب کو پیش کئے، دو دو سرداروں
>> کی طرف سے ایک بَیل گاڑی اور ہر ایک سردار کی طرف سے ایک بَیل۔
>> Numbers 7:3: پھر قبیلوں کے بارہ سردار مقدِس کے لئے ہدیئے لے کر آئے۔ یہ وہی
>> راہنما تھے جنہوں نے مردم شماری کے وقت موسیٰ کی مدد کی تھی۔ اُنہوں نے چھت
>> والی چھ بَیل گاڑیاں اور بارہ بَیل خیمے کے سامنے رب کو پیش کئے، دو دو سرداروں
>> کی طرف سے ایک بَیل گاڑی اور ہر ایک سردار کی طرف سے ایک بَیل۔
>> Numbers 7:4: رب نے موسیٰ سے کہا،
>> Numbers 7:5: ”یہ تحفے قبول کر کے ملاقات کے خیمے کے کام کے لئے استعمال کر۔
>> اُنہیں لاویوں میں اُن کی خدمت کی ضرورت کے مطابق تقسیم کرنا۔“
>> Numbers 7:6: چنانچہ موسیٰ نے بَیل گاڑیاں اور بَیل لاویوں کو دے دیئے۔
>> Numbers 7:7: اُس نے دو بَیل گاڑیاں چار بَیلوں سمیت جَیرسونیوں کو
>> Numbers 7:8: اور چار بَیل گاڑیاں آٹھ بَیلوں سمیت مِراریوں کو دیں۔ مِراری
>> ہارون امام کے بیٹے اِتمر کے تحت خدمت کرتے تھے۔
>> Numbers 7:9: لیکن موسیٰ نے قِہاتیوں کو نہ بَیل گاڑیاں اور نہ بَیل دیئے۔ وجہ
>> یہ تھی کہ جو مُقدّس چیزیں اُن کے سپرد تھیں وہ اُن کو کندھوں پر اُٹھا کر لے
>> جانی تھیں۔
>> Numbers 7:10: بارہ سردار قربان گاہ کی مخصوصیت کے موقع پر بھی ہدیئے لے آئے۔
>> اُنہوں نے اپنے ہدیئے قربان گاہ کے سامنے پیش کئے۔
>> Numbers 7:11: رب نے موسیٰ سے کہا، ”سردار بارہ دن کے دوران باری باری اپنے
>> ہدیئے پیش کریں۔“
>> Numbers 7:12: پہلے دن یہوداہ کے سردار نحسون بن عمی نداب کی باری تھی۔ اُس کے
>> ہدیئے یہ تھے:
>> Numbers 7:13: چاندی کا تھال جس کا وزن ڈیڑھ کلو گرام تھا اور چھڑکاؤ کا چاندی
>> کا کٹوراجس کا وزن 800 گرام تھا۔ دونوں غلہ کی نذر کے لئے تیل کے ساتھ ملائے
>> گئے بہترین میدے سے بھرے ہوئے تھے۔
>> Numbers 7:14: اِن کے علاوہ نحسون نے یہ چیزیں پیش کیں: سونے کا پیالہ جس کا
>> وزن 110 گرام تھا اور جو بخور سے بھرا ہوا تھا،
>> Numbers 7:15: ایک جوان بَیل، ایک مینڈھا، بھسم ہونے والی قربانی کے لئے بھیڑ
>> کا ایک یک سالہ بچہ،
>> Numbers 7:16: گناہ کی قربانی کے لئے ایک بکرا
>> Numbers 7:17: اور سلامتی کی قربانی کے لئے دو بَیل، پانچ مینڈھے، پانچ بکرے
>> اور بھیڑ کے پانچ یک سالہ بچے۔
>> Numbers 7:18: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔
>> دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
>> Numbers 7:19: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔
>> دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
>> Numbers 7:20: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔
>> دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
>> Numbers 7:21: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔
>> دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
>> Numbers 7:22: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔
>> دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
>> Numbers 7:23: اگلے گیارہ دن باقی سردار بھی یہی ہدیئے مقدِس کے پاس لے آئے۔
>> دوسرے دن اِشکار کے سردار نتنی ایل بن ضُغر کی باری تھی،
>> Numbers 7:24: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
>> Numbers 7:25: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
>> Numbers 7:26: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
>> Numbers 7:27: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
>> Numbers 7:28: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
>> Numbers 7:29: تیسرے دن زبولون کے سردار اِلیاب بن حیلون کی،
>> Numbers 7:30: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:31: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:32: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:33: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:34: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:35: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:36: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:37: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:38: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:39: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:40: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:41: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:42: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:43: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:44: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:45: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:46: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:47: چوتھے دن روبن کے سردار اِلی صور بن شدیور کی، پانچویں دن شمعون
>> کے سردار سلومی ایل بن صوری شدی کی، چھٹے دن جد کے سردار اِلیاسف بن دعوایل کی،
>> Numbers 7:48: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
>> Numbers 7:49: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
>> Numbers 7:50: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
>> Numbers 7:51: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
>> Numbers 7:52: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
>> Numbers 7:53: ساتویں دن افرائیم کے سردار اِلی سمع بن عمی ہود کی،
>> Numbers 7:54: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:55: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:56: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:57: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:58: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:59: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:60: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:61: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:62: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:63: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:64: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:65: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:66: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:67: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:68: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:69: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:70: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:71: آٹھویں دن منسّی کے سردار جملی ایل بن فدا ہصور کی، نویں دن بن
>> یمین کے سردار ابدان بن جدعونی کی، دسویں دن دان کے سردار اخی عزر بن عمی شدی
>> کی،
>> Numbers 7:72: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:73: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:74: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:75: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:76: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:77: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:78: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:79: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:80: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:81: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:82: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:83: گیارھویں دن آشر کے سردار فجعی ایل بن عکران کی اور بارھویں دن
>> نفتالی کے سردار اخیرع بن عینان کی باری تھی۔
>> Numbers 7:84: اسرائیل کے اِن سرداروں نے مل کر قربان گاہ کی مخصوصیت کے لئے
>> چاندی کے 12 تھال، چھڑکاؤ کے چاندی کے 12 کٹورے اور سونے کے 12 پیالے پیش کئے۔
>> Numbers 7:85: ہر تھال کا وزن ڈیڑھ کلو گرام اور چھڑکاؤ کے ہر کٹورے کا وزن 800
>> گرام تھا۔ اِن چیزوں کا کُل وزن تقریباً 28 کلو گرام تھا۔
>> Numbers 7:86: بخور سے بھرے ہوئے سونے کے پیالوں کا کُل وزن تقریباً ڈیڑھ کلو
>> گرام تھا (فی پیالہ 110 گرام)۔
>> Numbers 7:87: سرداروں نے مل کر بھسم ہونے والی قربانی کے لئے 12 جوان بَیل، 12
>> مینڈھے اور بھیڑ کے 12 یک سالہ بچے اُن کی غلہ کی نذروں سمیت پیش کئے۔ گناہ کی
>> قربانی کے لئے اُنہوں نے 12 بکرے پیش کئے
>> Numbers 7:88: اور سلامتی کی قربانی کے لئے 24 بَیل، 60 مینڈھے، 60 بکرے اور
>> بھیڑ کے 60 یک سالہ بچے۔ اِن تمام جانوروں کو قربان گاہ کی مخصوصیت کے موقع پر
>> چڑھایا گیا۔
>> Numbers 7:89: جب موسیٰ ملاقات کے خیمے میں رب کے ساتھ بات کرنے کے لئے داخل
>> ہوتا تھا تو وہ رب کی آواز عہد کے صندوق کے ڈھکنے پر سے یعنی دو کروبی فرشتوں
>> کے درمیان سے سنتا تھا۔
>>
>> This report is not exhaustive.
>> More might be gleaned by examining diatheke dump of the whole module using
>> -k "Gen-Rev" in the CL parameters.
>>
>> Something like this that could be readily used for module analysis and
>> reporting could be a great addition to our toolbox.
>> Dom could then incorprate it into the automatic scripting now used for
>> module build and release.
>>
>> David
>>
>> Sent with ProtonMail Secure Email.
>>
>> _______________________________________________
>> sword-devel mailing list: sword-devel@crosswire.org
>> http://crosswire.org/mailman/listinfo/sword-devel
>> Instructions to unsubscribe/change your settings at above page
_______________________________________________
sword-devel mailing list: sword-devel@crosswire.org
http://crosswire.org/mailman/listinfo/sword-devel
Instructions to unsubscribe/change your settings at above page
