استفاده اینستاگرام از هوش مصنوعی در فیلتر کردن کامنت ها

استفاده از شبکه های اجتماعی علاوه بر مزایایی که به همراه دارد، می تواند معضلاتی را نیز برای برخی افراد به وجود آورد. یکی از این معضلات مواجه شدن با رفتارها و کامنت های توهین آمیز است. شرکت هایی که به وجود آورنده این شبکه های اجتماعی هستند به طور پیوسته به دنبال راه هایی می گردند تا با گفتار بد و توهین آمیز برخی از کاربران برخورد کنند. حال اینستاگرام قصد دارد با استفاده از هوش مصنوعی به جنگ با این مشکلات برود.

سال گذشته اینستاگرام ویژگی فیلتر نمودن کامنت ها را مطرح کرد. با استفاده از این ویژگی کاربران می توانند کلمات کلیدی خاصی را تعیین نمایند به طوری که اگر در کامنت خاصی از افراد آن کلمه کلیدی دیده شد، کامنت موردنظر فیلتر شود و دیگر در فید کاربر نمایش داده نخواهد شد. این ابزار کلماتی را که غالبا به عنوان کلمات نامناسب گزارش شده اند (often reported as inappropriate) حذف می کند و به شما اجازه می دهد تا مجموعه ای از کلمات مورد نظر خود را نیز تعریف نمایید. اما در همان زمان که این ویژگی توسط اینستاگرام عرضه شد، درباره نقاط ضعف آن نیز صحبت کردیم. همان طور که در مطالب قبلی اشاره شد اساسا مقابله کردن با کامنت های توهین آمیز می تواند کار طاقت فرسایی باشد. زیرا کاربران می توانند با استفاده از روش های مختلف این ویژگی اینستاگرام را دور بزنند.

از زمانی که اینترنت به وجود آمد همواره ترول ها (اوباش اینترنتی) راه هایی برای عبور کردن از فیلترها پیدا کرده اند. به عنوان مثال آن ها سعی می کنند تا کلمات توهین آمیز را عمدا با غلط املایی بنویسند یا به طور کلی یک کلمه جدید خلق می کنند.

اگرچه شما می توانید در اینستاگرام کلمه یا عبارت موردنظر خود را به مجموعه کلمات فیلتر شده اضافه کنید. اما اینستاگرام تلاش دارد راهی بهتر به جز فیلتر کردن یک کلمه پیدا کند تا بتواند احساس امنیت بیشتری برای کاربران در این محیط فراهم سازد.

ترول ها می توانند بدون استفاده از کلمات توهین آمیز خاصی کامنت های تندی بنویسند و فحاشی کنند.

اما فیلتر جدید اینستاگرام با استفاده هوش مصنوعی تلاش می کند تا از به کارگیری این شیوه ها نیز جلوگیری کند. اینستاگرام سعی می کند تا با استفاده هوش مصنوعی کامنتی را که محتوای توهین آمیز دارد درک کند و اجازه استفاده از آن را ندهد. حتی اگر در آن متن هیچ گونه فحاشی صورت نگرفته باشد و هیچ کلمه توهین آمیزی دیده نشود، هوش مصنوعی اینستاگرام بار معنایی آن جمله را درک می کند. اگرچه الگوریتم پیاده سازی شده جدید اینستاگرام در حال حاضر تنها بر روی زبان انگلیسی متمرکز است، اما انتظار می رود که به زودی زبان های دیگر را نیز تحت پوشش قرار دهد.

سایت Wired جزییات بیشتری درباره نحوه شناسایی محتوای توهین آمیز توسط این سیستم هوش مصنوعی اینستاگرام که DeepText نامیده می شود، بیان کرده است. به عنوان مثال این الگوریتم قادر است بفهمد که کلمه White به مفهوم یک رنگ است یا در قالب عنوان یک موضوع به کار رفته است و توهین آمیز نیست. (مانند White Sox و White Snow) اما عبارت White power می تواند در کاربردهای مختلف توهین آمیز باشد.

البته هیچ گاه نمی توان مجموعه کامل و بی نقصی از گفتارهای توهین آمیز تهیه کرد و (حتی بشر نیز پس از این همه مدت نتوانسته است تمام آن ها را شناسایی کند.) احتمال خطا همیشه وجود دارد. به عنوان مثال فرض کنید که شما تنها گفتار توهین آمیزی را نقل می کنید که با آن موافق نیستید و حتی با هدف نقد کردنش آن را در جملات خود به کار برده اید. با این اوصاف این الگوریتم چگونه عمل خواهد کرد؟ هم چنین نیاز به یادآوری نیست که کلمات توهین آمیزی وجود دارند که صرفا هم آوا هستند یا این که در متن های مختلف دارای معانی متفاوتی می باشند.

البته این سیستم جدید به مرور زمان هوشمندتر خواهد شد. با این وجود اگر شما تمایلی ندارید تا هوش مصنوعی اینستاگرام به جای شما تصمیم بگیرد که چه عبارتی توهین آمیز است، این امکان برای شما وجود دارد تا از بخش Settings اینستاگرام و قسمت comments این ویژگی را غیرفعال کنید. علاوه بر موارد گفته شده اینستاگرام از DeepText به منظور شناسایی اسپم نیز استفاده می کند. اسپم هایی که همه کاربران با از بین رفتن آن ها موافقند و امیدوارند این کار نیز به خوبی صورت گیرد.