جلد اول | فصل ۱۱
باور رایجی هست که چون الگوریتم با داده و ریاضی کار می‌کند، طبیعتاً بی‌طرف و عادلانه است. این یکی از خطرناک‌ترین باورهای عصر هوش مصنوعی است.
یک الگوریتم فقط همان الگوها را بازتولید می‌کند که در داده‌های آموزشی‌اش هست. تهران، چون سال‌هاست مرکز بوده، داده‌ی بیشتری دارد. الگوریتم این داده‌ی بیشتر را «تقاضای بیشتر» می‌خواند و بیشتر پیشنهادش می‌دهد. نتیجه: ایلام دوباره در حاشیه می‌ماند. دانشمندان داده به این پدیده «تورش بازخورد» می‌گویند.
تحلیل: این یعنی یک سیستم که برای حل نابرابری ساخته شده، اگر بی‌دقت طراحی شود، می‌تواند آن را با ریاضیات دقیق‌تر بازتولید کند. دقت بیشتر لزوماً عدالت بیشتر نیست.
جمله‌ی کلیدی: الگوریتم خودش عادلانه نیست؛ عدالت باید عمداً طراحی شود.
سؤال برای شما: کدام سیستم دیجیتال در زندگی شما فقط «همان چیزهایی را پیشنهاد می‌دهد که قبلاً دیده‌اید»؟